漢魏時期，中原漢族政權采用各種政策限制和打壓周邊少數民族勢力的發展，並多次派兵攻打匈奴等族，在取得了一系列勝利後，周邊少族民族基本都向中原納貢稱臣，向京城送獻質子以表忠心。到西晉時，少數民族的地位很低，很多窮苦的少數民族人民遇上災荒沿路乞討，被當地漢族土豪抓回家充做奴隸，是司空見慣的事，如果反抗，就會被殺，官家也不會追究責任，漢族與少數民族的矛盾日益尖銳。
西晉後期，當八王之亂的戰火在中原燃起，周邊的少數民族武裝以勤王的名義參與其中，並趁機紛紛自立，中國北方陷入一片混亂，黃河流域成為匈奴、羯、鮮卑、氐、羌「五胡」爭殺的戰場。從公元304年匈奴貴族劉淵建立漢國，到公元439年鮮卑拓跋部統一北方，這100多年里，先後建立了前趙（匈奴）、後趙（羯）、前燕（鮮卑）、前涼（漢）、前秦（氐）、後秦（羌）、後燕（鮮卑）、西秦（鮮卑）、後涼（氐）、南涼（鮮卑）、西涼（漢）、北涼（盧水胡）、南燕（鮮卑）、北燕（漢）、夏（匈奴），連同西南氐族建立的成漢，共計十六個國家。除此之外，還有漢人冉閔建立的魏，丁靈翟氏建立的魏、武都氐帥楊氏建立的仇池國、鮮卑慕容沖建立的西燕，鮮卑拓跋氏建立的代五個政權。合計在一起，總計先後建立了21個政權。因為大多為少族民族政漢，所以這一時期史稱五胡十六國。
西晉滅亡後，公元318年，西晉宗室、瑯邪王司馬睿繼承晉統，在建康（今南京）即皇帝位，史稱東晉。北方漢族人民害怕遭到少數民族的報復，紛紛舉家遷徙江南。形成了北方少數民族政權、南方漢族政權相對峙的狀況。
上述政權中，後趙、前燕、前秦曾佔據過北方的大部分韁域，尤其是前秦基本上統一了北方，上面的這張圖就是前秦和東晉依淮水對峙的疆域。
在南北對峙期間，東晉多次派軍北伐，試圖收回故土。祖逖北伐，一度收復黃河流域。桓溫北伐三次，曾收復洛陽，進入關中，進兵河北，但都沒能鞏固北伐戰果。