梁武帝信佛之後，不近，不吃葷，不僅他這樣做，還要求全國效仿︰以後祭祀宗廟，不準再用豬牛羊，要用蔬菜代替。他吃素，要神靈也吃素。這個命令下達之後，大臣議論紛紛，都反對。最後，蕭衍允許用面捏成牛羊的形狀祭祀。
有關史籍記載，梁武帝曾會見過佛教禪宗創始人菩提達摩（意譯為道法，是達摩已通達到法的意思）。菩提達摩（?—536年），中國禪宗初祖。南天竺婆羅門（印度南部）人，也有人認為他是波斯（今伊朗）人。原名菩提多羅，是南天竺香玉王的第三子，禪宗二十七至祖般若多羅到該國傳法，菩提多羅從他學法，很得般若多羅的賞識，就給他改名為達摩，意譯為道法，是達摩已通達到法的意思。梁武帝重佛，聲名遠播海外。千陀利（古代東南亞的一個小國）人甚至稱他為中國的「聖主」，「是我真佛」。普通年間（520—527年），菩提達摩得悉梁武帝重視佛教，特地從海路乘船來到廣州，想親自體驗一下梁朝重視佛教的盛況。梁武帝久聞其名，急命負責外事的官員把菩提達摩請到建康。有人說，達摩祖師到中國來的時候已經有150歲了。
菩提達摩來到建康後，梁武帝將他迎入宮中，受到熱情接待。梁武帝委婉和善地問菩提達摩︰「朕即位以來，廣造佛寺，整理經文，超度眾生，可不可以算是有功德呢？」
菩提達摩答道︰「這算不上什麼功德，佛家主張罪福並舍，空有兼忘，反對有為之善。參禪不可拘于形跡，須由靜生智，由智生明，從空寂中體會經義，才算得上有功德！」
梁武帝又問︰「朕在華林園中，匯集了許多浮屠經典，高僧前來，能否為朕逐日講解，指點迷津呢？」
菩提達摩微笑著說道︰「佛學在心不在口，極口闡釋，實非上乘，所以明心見性，自能成佛，不在區區經論！」
梁武帝本來以為菩提達摩會稱頌他的禮佛赤誠，沒料到被他兩番駁斥，反倒弄得啞口無言。兩人彼此言談不契，不歡而散。
菩提達摩離宮後，騎著一匹騾子上路。準備經幕府山渡江北上。梁武帝獲悉達摩即將北上，急派人騎騾追趕，但追到幕府山西、北二峰峽谷時，二峰驟然閉合，將騾群夾在其中，所以被稱為夾騾峰（今南京幕府山西北）。而達摩則折葦投水，飄然渡江北去。夾騾峰下又有達摩洞，傳說菩提達摩渡江北上時，途中曾在此洞休息。後來，在幕府山就留下了「達摩洞」這個名勝。
幕府山在今南京市中央門外，其西、北二峰合稱夾蘿峰，夾蘿峰下有達摩洞遺跡。幕府山高205米，北臨大江，為歷代的南京北門戶。有數座高峰，主峰北固峰偏南，峰下有若干石洞。中峰名勝頗多，有仙人洞和虎跑泉等。西、北二峰因達摩的傳說，又被稱為夾騾峰。達摩洞在山半腰，山下有「渡獅石」之地名，應為「渡師石」。峰下還有五馬渡等名勝。五馬渡為東晉元帝的渡江處。幕府山及周邊的象山、老虎山，為東晉世家大族中的王氏和顏氏的族葬地。
據傳，位于南京浦口的定山古寺始建于天監二年（503年）。後禪宗祖師達摩一葦渡江後駐錫于此。目前定山寺還留有兩處重要遺跡，一處是寺後的山坡竹林里有一個石碑，上面刻有達摩一葦渡江圖，達摩絡腮圓眼，拱手立于渡江蘆葦之上，還刻有「大明弘治四年辛亥三月季春定山釋子八十翁淨×雲建立」字樣。
之後，菩提達摩卓錫（僧人居留）嵩山少林寺，面壁9年，創立佛教禪宗。菩提達摩後遇慧可，授以《楞伽經》四卷。慧可承受了他的心法，于是禪宗得以流傳。禪宗六傳至唐代高僧慧能，得以發揚光大，成為中國流傳最廣的佛教派別。在通俗俠義小說中，菩提達摩也成了少林武功的創始者。東魏天平三年（536年）卒于洛濱，葬熊耳山（今河南宜陽縣）。
菩提達摩端居而逝後，梁武帝悔恨當初未悟其直示心印，遂給菩提達摩撰寫碑文，以表達自己因語不投機而失之交臂的怨悔心情。碑文雲︰「嗟夫，見之不見，逢之不逢，遇之不遇，今之古之，怨之恨之……。」
說到寺廟，就不能不提瓦官寺，也稱瓦棺寺。瓦官寺建于東晉哀帝興寧二年（364年)，比同泰寺早了160多年。位于東晉都城西南小長干山崗下，在今天南京中華門內西南隅花露崗鳳凰台上，晉賢阮籍古墓之北，當年曾建有保存藝術珍品最豐富的瓦官寺。原為東晉政府官營的陶器作坊，稱為「瓦官」，所以又稱瓦官寺。寺內有大雕塑家戴逵（東晉時期著名的雕塑家和畫家）和戴顒父子鑄造的5尊夾紵佛像(一說銅佛像)、著名畫家顧愷之（東晉畫家、中國最早的佛畫家之一）所作的維摩詰壁畫、獅子國(今斯里蘭卡)贈送的高4尺2寸的白玉佛像，被稱為瓦官寺的「三絕」。
顧愷之在瓦官寺大殿外西壁上作壁畫《維摩詰像》轟動一時。《建康實錄》詳細地記載了這件盛事。瓦官寺落成之後，寺里設會場把當朝顯貴請來擊鼓撞鐘，捐施錢財。當時在捐簿上承捐數目最多的也沒有超過10萬錢的，而當時年僅20歲的顧愷之卻言稱要捐錢百萬，令眾人瞠目結舌。他要求寺里的和尚粉刷一面空白牆壁，然後閉門不出，用了一個多月時間，在寺壁上精心繪制了一幅維摩詰像（「維摩詰」即梵文的直譯音，漢語意為「淨名居士」）。當這幅巨大壁畫基本完成，將要給維摩詰點眼珠之際，顧愷之請寺僧打開大門，讓民眾參觀，並規定，頭一天來觀看的人，捐錢10萬，第二天5萬，第三天隨意捐錢。頭一天，許多人為了爭睹顧愷之「開光點眼」，涌入瓦官寺。顧愷之當眾起筆點楮，說也神奇，只那麼一點，整個畫像便活龍活現。民眾聞訊而來，很快的，100萬錢便湊足了。這幅維摩詰壁畫像也就成為他的名作。
梁武帝時，在瓦官寺建造台殿，並更名為瓦官閣。瓦官閣，高20余丈，非常雄偉，是當時建康城的最高建築。因距離當年的長江很近，所以在日照下，閣影可以映入江中，是當時眺望江中景色的一處名勝。唐代大詩人李白曾登臨此閣，留下了一首詩︰
晨登瓦棺閣，極眺金陵城。鐘山對北戶，淮水入南榮。
漫漫雨花落，嘈嘈天樂鳴。兩廊振法鼓，四角吟風箏。
杳出霄漢上，仰攀日月行。山空霸氣滅，地古寒陰生。
寥廓雲海晚，蒼茫宮觀平。門餘閶闔字，樓識鳳凰名。
雷作百山動，神扶萬栱傾。靈光何足貴，長此鎮吳京。
可惜瓦官閣在南唐滅亡時被毀。在瓦官寺的東面，還有一處南朝名勝叫做「鳳凰台」。相傳，南朝宋元嘉年間，有鳳凰來集于此，時人因建此台。李白有《登金陵鳳凰台》詩，描述登望所見之景︰「鳳凰台上鳳凰游，鳳去台空江自流。吳宮花草埋幽徑，晉代衣冠成古丘。三山半落青天外，二水中分白鴛洲。總為浮雲能蔽日，長安不見使人愁。」
當時在建康城（今南京城）比較有名的還有棲霞寺，建于南齊永明年間，明僧紹舍宅為寺，建「棲霞精舍」，唐為「天下四大寺山」之一，清乾隆皇帝建「棲霞行宮」于寺後。寺毀于太平軍與清軍兵火，光緒年間重建。
棲霞寺千佛崖，為江南僅有的南朝石窟。南齊永明二年（484年）開鑿「無量殿」于西岩石壁，無量佛座像高三丈二尺五，兩側觀音至兩菩薩均高三丈，合稱「西方三聖」；以後歷年鑿刻，至梁武帝時已形成石刻群。
粱元帝蕭繹為湘東王時，撰《攝山棲曩寺碑銘》，文辭典雅，對仗工整，將棲霞寺描摹得仿佛化外仙境。陳時，陳後主曾與寵臣江總同游攝山棲霞寺並賦詩記游。江總還撰有《攝山棲曩寺碑》碑文。
棲霞寺舍利塔，初建于隋仁壽元年（601年），後于唐會昌年間被毀，南唐重建石塔。
今日棲霞寺舍利塔，始建于南齊建元年間（479—482年），在棲霞山的東西兩峰環抱中。唐代時，棲霞寺與山東靈岩寺、湖北玉泉寺、浙江國清寺並稱為我國「四大寺山」。寺前有紀念明僧紹的「明征君碑」，為唐高宗李治撰。棲霞寺原建築多毀于兵火。清光緒三十四年（1908年）相繼修葺，近幾年又幾經修整，得到很好的保護。