（2）平定桓玄
元興元年（402年）正月初一，朝廷下詔書，歷數荊州刺史桓玄的罪狀，任命尚書令司馬元顯為驃騎大將軍、征討大都督、都督18州諸軍事，並把黃鉞也加授給了他。又任命鎮北將軍劉牢之為前鋒都督，任命前將軍譙王司馬尚之統率後衛部隊。
元興二年、永始元年（403年）十二月，桓玄稱帝。元興三年（404年）二月，劉裕經過周密部署後，聯絡北府兵將領劉毅、何無忌、劉昶、劉道規、諸葛長民等人正式起兵，劉裕被推為盟主。首先佔領京口（今江蘇鎮江），斬徐州刺史桓修。然後進攻廣陵（今江蘇揚州)，殺青州刺史桓弘。隨後率兵直撲建康，討伐桓玄，衛晉抗楚。
東晉時期，京口是晉朝廷在南方的軍事重鎮，這里既是北方南下流民集中留居的地方；也是東晉政權主要兵源的所在地。時稱北府。東晉大臣郗鑒、桓溫均以此為基地組建軍隊，並募北方流民和江淮間富有戰斗經驗的農民，在京口組成一支精銳部隊，號稱「北府兵」。
劉裕以孟昶鎮守京口，自率部眾1700余人，進駐竹里（今江蘇句容北）。桓玄以揚州刺史桓謙為征討大都督。桓謙等主張迎擊劉裕，桓玄則屯兵覆舟山（今南京小九華山），以逸待勞。桓謙力爭出擊，桓玄遣頓丘太守吳甫之、右衛將軍皇甫敷相繼自建康北攻京口。劉裕與吳甫之在江乘（今江蘇句容北）遭遇。吳甫之兵敗被斬。劉裕追至羅落橋（今南京東北）。皇甫敷率數千人迎戰劉裕，皇甫敷戰死。桓玄再遣醒謙及游擊將軍何澹之屯兵東陵（覆舟山東北），侍中、後將軍卞範之駐軍覆舟山以西，合計兵力萬余人。劉裕軍輕裝進至覆舟山以東，使老弱布疑兵，迷惑桓玄。桓玄急調武衛將軍庾賾之率精兵出援各軍。劉裕與劉毅等突擊桓謙軍，又借風縱火，桓謙大敗。楚軍在屢次戰敗後，桓玄不得不退出建康，並挾持晉安帝司馬德宗西逃至江陵。不久，桓玄在江陵附近被晉軍益州將領馮遷所殺。
義熙元年（405年），劉裕擊敗篡晉的楚帝桓玄，殺入建康。安帝司馬德宗復位，任劉裕為侍中、車騎將軍、都督中外諸軍事，原任的徐、青2州刺史仍然兼任。劉裕堅決辭讓，不接受這些官職。安帝加封他為錄尚書事（東漢以後，中央行政均歸「尚書」處理，特別在南北朝時代，凡掌握重權的大臣必帶「錄尚書事」的名號。「錄」是總領的意思），他還是不接受，幾次請求仍回到他的屬地（京口，今江蘇鎮江）去。安帝命令文武百官一起敦促、規勸，安帝也親自駕臨到他的宅第。劉裕惶恐害怕，再次前往宮門去拜見，陳述理由，最後，安帝終于準許他回屬地去了。
四月，劉裕回到京口鎮守。朝廷改任他為都督荊、司等16州諸軍事，兼任兗州刺史。
盧循派遣使節前來建康進貢。這時，東晉朝廷剛剛穩定下來，沒有時間前去征討。二十一日，朝廷任命盧循為廣州刺史，徐道覆為始興相。盧循贈送給劉裕益智粽（益智葉即龍眼，拌米做成的粽子），劉裕回贈給他續命湯（主治︰風痙，口噤不開，身背強直，發如癇狀。治中風痱，身體不能自收，口不能言，冒昧不知痛處，或拘急，不得轉側）。
七月，劉裕派遣使節向後秦求和，並要求歸還南鄉等幾個郡，後秦王姚興答應了他。姚興的大臣們都覺得這樣不行，姚興說︰「天底下的善行都是一樣的。劉裕從社會底層最卑賤的地位上發展起來，能夠誅殺桓玄，重新振興晉室，對內整頓日常政務，對外核查勘定封地疆土，我怎麼能為了珍惜幾個郡，便因此不成全他的好事呢？」于是割讓南鄉、順陽、新野、舞陰等12個郡，歸還給東晉。
義熙二年（406年）十月，尚書評定勤王舉義的功勞，奏請封劉裕為豫章郡公。次年二月初九，劉裕前往都城建康，堅決辭讓剛剛加封他的那些官職。安帝下詔同意他所堅持的意見，劉裕回到丹徒。
義熙四年(408年)正月，朝廷征召劉裕任侍中、車騎將軍、開府儀同三司、揚州刺史、錄尚書事，他原來的徐、兗2州刺史的職務仍然兼任。至此，劉裕逐步控制了東晉朝政，成為權頃天下的顯赫人物。
（3）劉裕北伐
在中國歷史上的北伐戰爭很多，只要不是大一統的朝代，都會發生北伐或南征，但在南京的歷史上以北伐為多。三國時期的諸葛亮北伐，九伐中原比較著名。到了兩晉南北朝時期，當時北方都被胡人佔領，南方的漢人發動過很多次北伐，比較著名的有祖逖，劉裕的北伐。
在東晉的歷史上，也曾有過多次北伐，但只有祖逖是真心北伐，他率軍渡江北上時，在江中敲打著船槳說︰「如果不能使中原清明而光復成功，就像大江一樣有去無回！」但是，由于東晉朝廷內部矛盾重重，使滿腔熱忱的祖逖憂憤成疾，病死軍中。像桓溫、劉裕等人實際上都是將北伐當成了擴大自己勢力、趁機撈取政治資本的途徑。盡管如此，劉裕還是獲得了北伐的勝利。
義熙五年（409年）二月，南燕（十六國之一）軍隊侵擾淮北，這正好給了劉裕一個北伐的機會。三月，劉裕上表司馬德宗皇帝請求討伐南燕，「朝議皆以為不可，惟左僕射孟昶、車騎司馬謝裕、參軍臧喜以為必克，勸（劉）裕行」。
四月十一日，劉裕從建康出發，率水軍從淮水進入泗水（二水交匯處在今江蘇淮陰）。五月，東晉部隊到達下邳（今江蘇睢寧），把船艦、笨重的軍用物資留下，步行開進到瑯邪（今山東膠南縣），所路過的地方，都修築起城池，留下軍隊把守。六月十二日，劉裕大軍抵達東莞。
南燕的皇帝慕容超，先派遣公孫五樓、慕容賀賴盧以及左將軍段暉等人統領步、騎兵共5萬人屯據在臨胊（今山東臨胊縣），听說東晉兵馬已經通過峴山，便親自帶領步、騎兵共4萬人前去迎戰，並派公孫五樓率領騎兵開進巨蔑水（今山東壽光彌河）據守。東晉部隊的前鋒孟龍符與他展開激戰，將他打敗，公孫五樓敗退而走。
十九日，劉裕攻陷了廣固（今山東益都）的外城，迫使慕容超只得龜縮在內城死守。晉軍築起長圍，高三丈，外穿三重塹，給燕人一種插翅難飛的感覺。七月，東晉朝廷加授劉裕為北青、北冀2州的刺吏。
慕容超逃回廣固後，十分沮喪。他希望能夠憑城一戰，拼死決勝。但司徒慕容惠認為可求後秦姚興派兵來救援。此時此刻，慕容超認為也只有這一條路了，于是，慕容超又遣韓範出使長安向姚興借兵。
同時，慕容超又親筆寫信給劉裕，表示要向東晉稱臣，以大峴山為界，獻良馬千匹，以通和好，被劉裕一口拒絕。
當時，後秦的姚興正與大夏國赫連勃勃（匈奴族鐵弗部，十六國時期夏國的創建者）相互交戰。听說南燕乞援，姚興便派使臣尚書令韓範，到廣固城下見劉裕，危脅說︰「慕容氏與我是友好鄰國，以窮告急。我軍準備遣10萬鐵騎，徑據洛陽。晉軍如果不退兵，我的鐵騎當長驅而進！」
劉裕把後秦的使節叫到跟前來說︰「告訴你們姚興︰我攻克燕國之後，停止軍事行動三年，然後就要去奪取你們的關中、洛陽。今天你們要是能自己送來，那就快點來吧！」