汉魏时期，中原汉族政权采用各种政策限制和打压周边少数民族势力的发展，并多次派兵攻打匈奴等族，在取得了一系列胜利后，周边少族民族基本都向中原纳贡称臣，向京城送献质子以表忠心。到西晋时，少数民族的地位很低，很多穷苦的少数民族人民遇上灾荒沿路乞讨，被当地汉族土豪抓回家充做奴隶，是司空见惯的事，如果反抗，就会被杀，官家也不会追究责任，汉族与少数民族的矛盾日益尖锐。
西晋后期，当八王之乱的战火在中原燃起，周边的少数民族武装以勤王的名义参与其中，并趁机纷纷自立，中国北方陷入一片混乱，黄河流域成为匈奴、羯、鲜卑、氐、羌“五胡”争杀的战场。从公元304年匈奴贵族刘渊建立汉国，到公元439年鲜卑拓跋部统一北方，这100多年里，先后建立了前赵（匈奴）、后赵（羯）、前燕（鲜卑）、前凉（汉）、前秦（氐）、后秦（羌）、后燕（鲜卑）、西秦（鲜卑）、后凉（氐）、南凉（鲜卑）、西凉（汉）、北凉（卢水胡）、南燕（鲜卑）、北燕（汉）、夏（匈奴），连同西南氐族建立的成汉，共计十六个国家。除此之外，还有汉人冉闵建立的魏，丁灵翟氏建立的魏、武都氐帅杨氏建立的仇池国、鲜卑慕容冲建立的西燕，鲜卑拓跋氏建立的代五个政权。合计在一起，总计先后建立了21个政权。因为大多为少族民族政汉，所以这一时期史称五胡十六国。
西晋灭亡后，公元318年，西晋宗室、琅邪王司马睿继承晋统，在建康（今南京）即皇帝位，史称东晋。北方汉族人民害怕遭到少数民族的报复，纷纷举家迁徙江南。形成了北方少数民族政权、南方汉族政权相对峙的状况。
上述政权中，后赵、前燕、前秦曾占据过北方的大部分缰域，尤其是前秦基本上统一了北方，上面的这张图就是前秦和东晋依淮水对峙的疆域。
在南北对峙期间，东晋多次派军北伐，试图收回故土。祖逖北伐，一度收复黄河流域。桓温北伐三次，曾收复洛阳，进入关中，进兵河北，但都没能巩固北伐战果。