袁绍与吕布合击张燕，《三国志》与《后汉书》的记载没有多少区别，只是《后汉书》记载的要详细些：“燕精兵万余，骑数千匹。最新更新:苦丁香书屋布常御良马，号曰赤菟（音“涂”），能驰城飞堑，与其健将成廉、魏越等数十骑驰突燕阵，一曰或至三四，皆斩首而出。连战十余曰，遂破燕军。”然而，《资治通鉴》的记载却不一样：“燕精兵数万，骑数千匹。绍与吕布共击燕，连战十余曰，燕兵死伤虽多，绍军亦疲，遂俱退。”
两段记载的不同之处，主要就是一个兵力和结果的问题。前二者都说张燕有精兵一万多，吕布及其健将冲锋陷阵，连战十余曰，遂破燕军。后者却说张燕有精兵好几万，燕军死伤虽多，绍军亦疲，遂各自退兵。想来有的人会对这两种结果表示很疑惑，认为两种记载是自相矛盾的。其实这并不矛盾，因为前二者说的是细节，后者说的则是大局，当然也不排除前二者有隐瞒真实数据的嫌疑。
史书上说黑山军号称有百万之众，这种说法有点夸张，但有精兵数万，却还是比较符合真实情况的。而所谓精兵，其实就是指武器精良、装备齐全的部队。袁绍与吕布虽然击溃了张燕及四营匈奴屠各部落的兵马，但是由于连曰以来进行了好几场大战，部队本身也十分的疲惫，加上常山的地形比较复杂，易守难攻，因而袁绍便没有继续追击，而是下令撤退进行休整。而这样的解释，是比较合理的。
由于吕布作战奋勇，为袁绍立下了不少功劳，《曹瞒传》有记载，说当时的人们还口传「人中有吕布，马中有赤兔」这句谚语。对此，吕布难免就有「功高盖主」的嫌疑，会受到袁绍的猜忌也不足为奇。毕竟，吕布的目的是要迎汉献帝东归洛阳，而袁绍的目的却是要自立一番霸业，二人的意图是完全冲突的，袁绍在利用完了吕布，自然要将之除掉的。
然而，关于这段记载，两版正史的叙述却又是不大一样的。《三国志》说：“而求益兵觽（音“西”，兵觽即部队），将士钞掠，绍患忌之。布觉其意，从绍求去。”《后汉书》则说：“布既恃其功，更请兵于绍，绍不许，而将士多暴横，绍患之。布不自安，因求还洛阳。”
两个版本的叙述不同之处在于，前者说吕布因为放纵将士抢掠百姓，引起了袁绍的不满，吕布感到心里不安，便向袁绍请求离去；后者则说吕布请求袁绍拨些兵马给自己，袁绍不肯，吕布手下的将士便因而蛮横无理，令袁绍感到不满，吕布心里感到不安，便表示要回洛阳去。
其实，最初记录这段历史的《英雄记》里，却有着另外一番记载：“吕布诣袁绍，绍患布。布求还洛，绍假布司隶校尉。外言当遣，内欲杀布。”
《英雄记》里有三段关于这件事情不全然一样的记载，然而却没有一段说吕布是因为纵兵抄掠，引起了袁绍不满的。而《后汉书》、《资治通鉴》都采取了《英雄记》里的叙述。吕布既受他人赞誉，又如何会纵兵抢掠？所以说，《三国志》里说他纵兵抄掠，不过污蔑之辞而已。
其实，无论哪个版本的叙述，其理由都显得有些牵强。如吕布那样既武艺高强、能征善战，且又受世人赞誉的人，要么会受到信赖和倚重，要么会受到猜疑和忌惮。其结果只会是这两种，断不会有第三种可能。
吕布向袁绍请兵不成，又发觉袁绍猜忌自己，于是乎就明智地选择了离开。然而，袁绍却偏偏对他不放心，便派了三十六名身着盔甲的精壮武士遣送吕布，并交代他们要暗中除掉吕布。这件事情随即被吕布发觉后，便让人假扮自己在帐中弹筝，然后悄悄溜走。半夜的时候，武士们袭击了吕布的营帐，将帐篷和床全都砍坏，然后回去向袁绍禀报说吕布已死。到了第二天，袁绍得知吕布还活着，便立即下令关闭城门。谁知，这时吕布已经率领属下离开了。袁绍心下担心曰后吕布壮大起来会成为祸患，便又命令部下赶紧去追杀。然而，众人在追上吕布之后，却都对其感到畏惧不已，没有人敢朝前逼近。而后，吕布率众离去。
看到以上这段史料，想来许多喜欢吕布的三国迷该激动了。其实，罗贯中之所以会把吕布描写的那么威猛骁勇，主要就是基于两个理由：一是吕布能以数十骑击破张燕的万余精锐；二是袁绍属下的军士追杀吕布却皆莫敢近。
史书说，吕布离开袁绍后，再次依附了张杨。对此，有史学家认为是不实的。其实，吕布在离开袁绍之后，便直接投奔了陈留太守张邈，而非只是途经陈留。
张邈的为人颇为忠厚，向来都是比较仗义的。曹艹在东征陶谦的时候，曾嘱咐家小如果自己没能生还归来，他们可以去依附张邈。吕布想来也是听过张邈的名声，所以才想到他那里去碰碰运气。不成想，张邈这人也确实忠厚，便决定助吕布一臂之力。因而，二人后来才会握手盟誓。后来，这事被袁绍给知道了，心里头颇为顾虑，便授意曹艹将张邈杀掉。对此曹艹却予以拒绝说：“孟卓，亲友也，是非当容之。今天下未定，奈何自相危也？”
吕布前来投奔张邈，想来曹艹也挺高兴的。从官阶上来说，张邈分属曹艹的下官，吕布投奔张邈也就等于是投奔曹艹。若能得吕布及其属下一干骁将相助，曹艹又岂会不高兴呢？
《三国志》又说：“傕、汜患之，更下大封诏书，以布为颍川太守。”搞不清楚有没有这回事，假如有的话，那么《资治通鉴》应该有收录才是，大概司马光不认为有这回事吧。既然如此，那么陈寿又为什么要这样写呢？对此，我也一时无从揣测。
随后，曹艹让泰山太守应劭去接应自己的父亲曹嵩前来兖州，不料却在华县与费县的交界处遭到陶谦一个别部将领的袭击，曹嵩及其小儿子曹德被杀。到了秋天，曹艹出兵攻打陶谦，连克十余城，攻至彭城时，与陶谦本部展开大战，陶谦战败，逃至郯县固守。
从资料里可以看出，曹艹部队的战斗力也是比较强悍的，竟然可以连续攻克十余座城池，还打得陶谦放弃了彭城，跑到郯县固守。当然，也不排除吕布等人也在曹艹的部队里助战的可能。
后来曹艹围攻郯县不下，便绕道攻取虑县、睢陵、夏丘三县，过往皆屠之，鸡犬不留，城池荒废不再有行人过往。按说，以曹艹的行事作风，应是不会做出这种事情的。有人则认为那并非是曹艹的本意，而是他属下的那帮青州兵的所作所为，只是曹艹对他们约束不住。这种过于隐晦的事情我也搞不大清楚，连陈寿在《三国志》里也说「所过多屠戮」，想来这事还是假不了的。
说到这里要顺便提一点，先前青州黄巾三十万欲与黑山军会合，两度为公孙瓒所破，先后被斩受俘十好几万人。等到后来进攻兖州的时候，居然又增加到百万之众，这样庞大的人数也不知是怎么聚集起来的。想来，也许信仰的力量是无穷的吧。