孝武帝广娶后妃，子女成众，仅儿子就多达28个。太子刘子业，始平王刘子鸾，南海王刘子师、晋安王刘子勋、寻阳王刘子房等。
大明六年（462年）四月，孝武帝的宠姬殷淑仪（刘子鸾生母。楚江郡主，刘义宣的二女儿）去世，追赠为贵妃，谥号为宣。孝武帝为殷淑仪的死伤心不已，不断凭吊，以致于精神恍惚，无心处理朝廷政事。由于刘骏每天仍然思念殷淑仪，便把棺材做得像抽屉一般，每当想见她的时候，便将棺材拉开一睹遗容。
十月二十五日，孝武帝在龙山（今南京将军山）埋葬了宣贵妃，在山上开凿山路几十里，老百姓忍受不了这一艰苦的劳役，死亡、逃走的人很多。自从江南有葬礼以来，这一葬礼的隆重场面，还从来没有过。又给宣贵妃另建了一座祭庙。庙成后以殷淑仪之子刘子鸾的封号，称为新安寺。当时有巫师说可以仿汉武帝的前例，招殷淑仪的魂与刘骏相见，果然在帷幕后有影子出现，但是当刘骏想与之握手时，鬼魂却消失了。刘骏颇为哀怨，便作了拟李夫人赋。金紫光祿家。陈郡阳夏人（今河南太康县），出生于建康。以《月赋》闻名。也作了《殷贵妃诔》哀文献上，刘骏看了以后非常感动，命令下属们传抄，使得一时之间纸与墨价钱大涨。
不过，就这篇《殷贵妃诔》，险些让谢庄掉了脑袋。他哪里想到，时为东宫太子的刘子业，对这篇《诔》，不但十分敏感，而且相当反感。《诔》中有“赞轨尧门”一典，此典语出《汉书》，本意是赞美汉武帝的宠妃赵婕妤的，用来附会殷贵妃。因为，赵婕妤生了一个儿子，也就是后来继位为汉成帝的刘弗陵。可殷贵妃的儿子刘子鸾，并非接班人。
刘子业说，你拍贵妃的马屁，不把俺娘皇后放在眼里，率东宫卫队，就要找他谢庄算账。有人拦住了太子，时下这位马屁文人，乃是你爹的红人，这事急不得。
刘骏死后，刘子业继位，不但扒了殷贵妃的坟，毁了她的祭祠，连殷贵妃生的刘子鸾，也一杯毒酒鸩杀了。接着，便将谢庄捉拿在案。
南徐州从事史、范阳（今北京附近）人祖冲之上书孝武帝说，何承天制定的历法错误、疏漏的地方还是很多，所以，他又另外制定了一部新历法。”孝武帝命令对历法有研究的人同祖冲之辩论，但驳不倒祖冲之。不久，正赶上孝武帝驾崩，所以，祖冲之的新历法也没能实施起来。
孝武帝每次在宴请饮酒时，都命令臣属们彼此之间相互嘲讽、攻击，以此取乐。他还喜欢捉弄、侮辱手下臣属们，从太宰刘义恭以下的大臣，没有一个人没被污言秽语侮辱过。孝武帝经常把金紫光禄大夫王玄谟叫做“北方佬”，把仆射刘秀之喊做“老抠门”，把颜师伯叫做“大板牙”，其他无论是高矮、胖瘦，都给起过外号。黄门侍郎宗灵秀身体肥胖，叩拜后起身很不方便，每次聚会，孝武帝偏偏不断赏赐给他东西，就是想要看他跌跌撞撞谢恩的样子，以此取笑。孝武帝还宠爱一个昆仑奴，他经常让昆仑奴拿着棍棒殴击各位官员，自尚书令柳元景以下，都不免挨打。
孝武帝安葬了殷贵妃后，几次带臣属来到殷贵妃的墓前凭吊。他对秦郡太守刘德愿说：“你哭殷贵妃，如果哭得很悲伤，我就厚厚地赏赐你。”话刚说完，豫州刺史彭城刘德愿已经失声嚎啕起来，“抚膺擗踊，涕泗交流”（捶胸顿足，眼泪、鼻涕都流到了一起）。孝武帝大为高兴，就将豫州刺史的官职赏赐给了他。孝武帝又命令医师羊志也哭殷贵妃，羊志也呜呜咽咽地哭起来，哭得撕心裂肺，极其悲痛，全身的衣服都被泪水湿透了，甚至差点昏死过去。过了些日子，有人问羊志：“你从哪里这么快弄来了这些眼泪？”羊志回答说：“我那时不过是哭自己死去的小妾罢了（古人就如此会搞笑，让现代人都汗颜）。”
据说，现代也有因哭升官事例。某地委书记，他的老娘死了，地委大院的干部几乎都去他家吊唁。下葬那天，有好几位干部哭得死去活来（其中是不是有人的“二女乃”碰巧也死了），“泪飞顿作倾盆雨”，有的几乎晕厥过去，比真死了娘的人还要“伤心”。事后，那几个“几乎晕厥”的干部，均官升一级。
孝武帝后宫的佳丽虽多，但自殷贵妃死后，孝武帝找不到一个合心意的。渐渐地因愁生病，不能再亲理政事。
孝武帝为人机警、勇敢、果断、迅速，他学问渊博，文章写得敏捷华丽，他阅读书信或奏章能一目七行。同时，他又善于骑马和射箭。孝武帝的诗文造诣也相当高，王夫之评价刘骏《登作乐山》说：“得之于悲壮而不疏不野，大有英雄之气。”《全宋文》录其文二卷。《文心雕龙-时序》称“孝武多才，英采云构”。他的乐府诗写得清新自然，有《乐府诗集》、《玉台新咏》、《丁督护歌》等。如《丁督护歌》“闻欢去北征，相送直渎浦。只有泪可出，无复情可吐。”有人说他开创了帝王写民歌的先河。刘骏的赋今存数篇，如在《伤宣贵妃拟汉武帝李夫人赋》中写道：“流律有终，心情无歇。徙倚云日，徘徊风月。”其情之深，其意之切，足令天下文人折服。可见刘骏其实也有内心深处的另一面。当然，并不是因为他诗写得好，就减轻了人们对他恣意妄为的谴责。
自司马氏建立东晋以来，宫殿都是草草建造的，朝会或宴请也不过在东堂或西堂而已。晋孝武帝司马曜末年才建造了清暑殿。刘宋初期，也没有什么增加或改动。到了宋孝武帝刘骏，就开始大兴土木，扩建宫室，墙上和柱子上都用锦绣装饰。对他宠爱的妻妾和臣属的赏赐，把国库内所有的东西都拿空了。他曾经毁掉武帝刘裕住过的屋子，在那里兴建了玉烛殿，与手下大臣一同前去观看，旧屋床头上还有一截土墙，墙上挂着麻葛灯笼和麻线蝇拂。侍中袁顗看完，盛赞武帝节俭朴素的品德。孝武帝没有回答什么，只是自言自语地说：“庄稼汉得到这种享受已经是很过分的了。”
孝武帝晚年，更是贪财好利，凡是刺史、2千石官员免官回京时，一定限令他们进献贡奉，同时，还和他们一块儿赌博，直到把他们的钱赢光才停止。他整天都是开怀畅饮，很少有清醒的时候。经常是伏在案几上昏睡过去，有时一旦外面有急事呈奏，他马上抖擞精神，整理好容装，一点酒意都没有了。因此，内臣外属们，对他都十分畏惧，没有一个人敢做事懈怠。
大明八年（464年）五月二十三日，孝武帝刘骏在玉烛殿病逝。在位11年，时年35岁。留下遗诏说：“免去太宰刘义恭的尚书令一职，加授中书监。任命骠骑将军、南兖州刺史柳元景兼任尚书令，进入内城居住。朝廷事务，无论大小，全都要奏启二人。国家大事要和始兴公沈庆之商量决定。如果有军务，就全都委托沈庆之处理。尚书府的事务，托付给仆射颜师伯处理。统领外监事务，交给领军将军王玄谟处理。”
七月初九，葬孝武帝刘骏于丹阳秣陵县岩山景宁陵（今南京城北滨江三台洞附近）。谥号孝武，庙号世祖。
《列传》选录：
孝武文穆王皇后，王宪嫄，琅邪临沂（今山东临沂）人。元嘉二十年，拜武陵王妃。生废帝刘子业、豫章王刘子尚、山阴公主刘楚玉、临淮康哀公主刘楚佩、皇女刘楚琇、康乐公主刘修明。世祖刘骏在蕃，王皇后甚有宠。废帝刘子业即位，尊曰皇太后，宫曰永训。其年，崩于含章殿，时年38岁。祔葬孝武帝刘骏景宁陵。