孝武帝廣娶後妃，子女成眾，僅兒子就多達28個。太子劉子業，始平王劉子鸞，南海王劉子師、晉安王劉子勛、尋陽王劉子房等。
大明六年（462年）四月，孝武帝的寵姬殷淑儀（劉子鸞生母。楚江郡主，劉義宣的二女兒）去世，追贈為貴妃，謚號為宣。孝武帝為殷淑儀的死傷心不已，不斷憑吊，以致于精神恍惚，無心處理朝廷政事。由于劉駿每天仍然思念殷淑儀，便把棺材做得像抽屜一般，每當想見她的時候，便將棺材拉開一睹遺容。
十月二十五日，孝武帝在龍山（今南京將軍山）埋葬了宣貴妃，在山上開鑿山路幾十里，老百姓忍受不了這一艱苦的勞役，死亡、逃走的人很多。自從江南有葬禮以來，這一葬禮的隆重場面，還從來沒有過。又給宣貴妃另建了一座祭廟。廟成後以殷淑儀之子劉子鸞的封號，稱為新安寺。當時有巫師說可以仿漢武帝的前例，招殷淑儀的魂與劉駿相見，果然在帷幕後有影子出現，但是當劉駿想與之握手時，鬼魂卻消失了。劉駿頗為哀怨，便作了擬李夫人賦。金紫光祿家。陳郡陽夏人（今河南太康縣），出生于建康。以《月賦》聞名。也作了《殷貴妃誄》哀文獻上，劉駿看了以後非常感動，命令下屬們傳抄，使得一時之間紙與墨價錢大漲。
不過，就這篇《殷貴妃誄》，險些讓謝莊掉了腦袋。他哪里想到，時為東宮太子的劉子業，對這篇《誄》，不但十分敏感，而且相當反感。《誄》中有「贊軌堯門」一典，此典語出《漢書》，本意是贊美漢武帝的寵妃趙婕妤的，用來附會殷貴妃。因為，趙婕妤生了一個兒子，也就是後來繼位為漢成帝的劉弗陵。可殷貴妃的兒子劉子鸞，並非接班人。
劉子業說，你拍貴妃的馬屁，不把俺娘皇後放在眼里，率東宮衛隊，就要找他謝莊算賬。有人攔住了太子，時下這位馬屁文人，乃是你爹的紅人，這事急不得。
劉駿死後，劉子業繼位，不但扒了殷貴妃的墳，毀了她的祭祠，連殷貴妃生的劉子鸞，也一杯毒酒鴆殺了。接著，便將謝莊捉拿在案。
南徐州從事史、範陽（今北京附近）人祖沖之上書孝武帝說，何承天制定的歷法錯誤、疏漏的地方還是很多，所以，他又另外制定了一部新歷法。」孝武帝命令對歷法有研究的人同祖沖之辯論，但駁不倒祖沖之。不久，正趕上孝武帝駕崩，所以，祖沖之的新歷法也沒能實施起來。
孝武帝每次在宴請飲酒時，都命令臣屬們彼此之間相互嘲諷、攻擊，以此取樂。他還喜歡捉弄、侮辱手下臣屬們，從太宰劉義恭以下的大臣，沒有一個人沒被污言穢語侮辱過。孝武帝經常把金紫光祿大夫王玄謨叫做「北方佬」，把僕射劉秀之喊做「老摳門」，把顏師伯叫做「大板牙」，其他無論是高矮、胖瘦，都給起過外號。黃門侍郎宗靈秀身體肥胖，叩拜後起身很不方便，每次聚會，孝武帝偏偏不斷賞賜給他東西，就是想要看他跌跌撞撞謝恩的樣子，以此取笑。孝武帝還寵愛一個昆侖奴，他經常讓昆侖奴拿著棍棒毆擊各位官員，自尚書令柳元景以下，都不免挨打。
孝武帝安葬了殷貴妃後，幾次帶臣屬來到殷貴妃的墓前憑吊。他對秦郡太守劉德願說︰「你哭殷貴妃，如果哭得很悲傷，我就厚厚地賞賜你。」話剛說完，豫州刺史彭城劉德願已經失聲嚎啕起來，「撫膺擗踴，涕泗交流」（捶胸頓足，眼淚、鼻涕都流到了一起）。孝武帝大為高興，就將豫州刺史的官職賞賜給了他。孝武帝又命令醫師羊志也哭殷貴妃，羊志也嗚嗚咽咽地哭起來，哭得撕心裂肺，極其悲痛，全身的衣服都被淚水濕透了，甚至差點昏死過去。過了些日子，有人問羊志︰「你從哪里這麼快弄來了這些眼淚？」羊志回答說︰「我那時不過是哭自己死去的小妾罷了（古人就如此會搞笑，讓現代人都汗顏）。」
據說，現代也有因哭升官事例。某地委書記，他的老娘死了，地委大院的干部幾乎都去他家吊唁。下葬那天，有好幾位干部哭得死去活來（其中是不是有人的「二女乃」踫巧也死了），「淚飛頓作傾盆雨」，有的幾乎暈厥過去，比真死了娘的人還要「傷心」。事後，那幾個「幾乎暈厥」的干部，均官升一級。
孝武帝後宮的佳麗雖多，但自殷貴妃死後，孝武帝找不到一個合心意的。漸漸地因愁生病，不能再親理政事。
孝武帝為人機警、勇敢、果斷、迅速，他學問淵博，文章寫得敏捷華麗，他閱讀書信或奏章能一目七行。同時，他又善于騎馬和射箭。孝武帝的詩文造詣也相當高，王夫之評價劉駿《登作樂山》說︰「得之于悲壯而不疏不野，大有英雄之氣。」《全宋文》錄其文二卷。《文心雕龍-時序》稱「孝武多才，英采雲構」。他的樂府詩寫得清新自然，有《樂府詩集》、《玉台新詠》、《丁督護歌》等。如《丁督護歌》「聞歡去北征，相送直瀆浦。只有淚可出，無復情可吐。」有人說他開創了帝王寫民歌的先河。劉駿的賦今存數篇，如在《傷宣貴妃擬漢武帝李夫人賦》中寫道︰「流律有終，心情無歇。徙倚雲日，徘徊風月。」其情之深，其意之切，足令天下文人折服。可見劉駿其實也有內心深處的另一面。當然，並不是因為他詩寫得好，就減輕了人們對他恣意妄為的譴責。
自司馬氏建立東晉以來，宮殿都是草草建造的，朝會或宴請也不過在東堂或西堂而已。晉孝武帝司馬曜末年才建造了清暑殿。劉宋初期，也沒有什麼增加或改動。到了宋孝武帝劉駿，就開始大興土木，擴建宮室，牆上和柱子上都用錦繡裝飾。對他寵愛的妻妾和臣屬的賞賜，把國庫內所有的東西都拿空了。他曾經毀掉武帝劉裕住過的屋子，在那里興建了玉燭殿，與手下大臣一同前去觀看，舊屋床頭上還有一截土牆，牆上掛著麻葛燈籠和麻線蠅拂。侍中袁顗看完，盛贊武帝節儉樸素的品德。孝武帝沒有回答什麼，只是自言自語地說︰「莊稼漢得到這種享受已經是很過分的了。」
孝武帝晚年，更是貪財好利，凡是刺史、2千石官員免官回京時，一定限令他們進獻貢奉，同時，還和他們一塊兒賭博，直到把他們的錢贏光才停止。他整天都是開懷暢飲，很少有清醒的時候。經常是伏在案幾上昏睡過去，有時一旦外面有急事呈奏，他馬上抖擻精神，整理好容裝，一點酒意都沒有了。因此，內臣外屬們，對他都十分畏懼，沒有一個人敢做事懈怠。
大明八年（464年）五月二十三日，孝武帝劉駿在玉燭殿病逝。在位11年，時年35歲。留下遺詔說︰「免去太宰劉義恭的尚書令一職，加授中書監。任命驃騎將軍、南兗州刺史柳元景兼任尚書令，進入內城居住。朝廷事務，無論大小，全都要奏啟二人。國家大事要和始興公沈慶之商量決定。如果有軍務，就全都委托沈慶之處理。尚書府的事務，托付給僕射顏師伯處理。統領外監事務，交給領軍將軍王玄謨處理。」
七月初九，葬孝武帝劉駿于丹陽秣陵縣岩山景寧陵（今南京城北濱江三台洞附近）。謚號孝武，廟號世祖。
《列傳》選錄︰
孝武文穆王皇後，王憲嫄，瑯邪臨沂（今山東臨沂）人。元嘉二十年，拜武陵王妃。生廢帝劉子業、豫章王劉子尚、山陰公主劉楚玉、臨淮康哀公主劉楚佩、皇女劉楚琇、康樂公主劉修明。世祖劉駿在蕃，王皇後甚有寵。廢帝劉子業即位，尊曰皇太後，宮曰永訓。其年，崩于含章殿，時年38歲。祔葬孝武帝劉駿景寧陵。