小沛里徐州才四五十里地，吕布带人来到徐州城外的时候才是四更天而已。天上的月光照耀这城上的青砖。吕布来到城门前就对立面喊话了：“刘使君有重要情报送到快开门。”刚好当天守城门的就是曹豹，曹豹知道吕布来了就让人赶紧把城门打开，就这样徐州沦陷了。
而这个时候张飞还在府上睡觉没有酒醒呢，身边的随从急忙摇醒张飞说：“吕布骗开城门，已经杀进来了。”张飞大怒，慌忙披挂上马，一出门就遇到了吕布。张飞这个时候酒还没醒，不能力战，但是吕布也知道张飞不好对付，也不敢怎么样张飞。张飞在十八骑亲兵的保护下杀东门而出。刘备的家室都还留在徐州，还没来得及救出来。
曹豹看张飞只带这么十几个人逃走，心里的气实在咽不下去，而且看张飞还没酒醒，于是带着百几十人就追了上去。
张飞一看后面追上来的曹豹更是大怒，拍马挺矛就奔曹豹而去，虽然这个时候没有完全酒醒，但是经过这么一路狂奔，张飞也醒了个大概，没三个回合就把曹豹打败了，但是张飞也咽不下这口气，于是追着曹豹到河边的时候从后背一矛把曹豹连人带马刺死于河中。张飞在城外收集逃出城的士兵，带着这些人往南阳刘备去了。
而吕布入徐州城以后也安抚民众，还派了一百多人把守刘备的府邸，不许外人擅自进入。
张飞带着这些残兵败将来到盱眙找到刘备，把曹豹里应外合于吕布勾结偷袭徐州的事情经过都跟刘备讲了。大家一听徐州已经失陷了，大惊失『色』，这次是连家都没有了。关羽把张飞骂了一顿：“你当初守城的时候说什么来着，当时兄长有是怎么吩咐你来着？现在徐州丢了，连嫂嫂都不见了，你说你怎么办好。”张飞听关羽这么说，心里实在不是滋味，于是拔剑准备自刎。好在刘备上千抱着张飞说：“兄弟如手足，女人如衣服，衣服破了还可以补，手足断了就没有了，而且我们当初桃园结义的时候说过同生共死，如果你『自杀』了，我和你关二哥是不是也要陪着你自刎。”说完三个人就抱着痛哭流泪。
却说袁术知道吕布已经偷袭徐州得手，于是连夜派人到吕布那里，跟吕布说，如果你派人和我一起夹击刘备，我就给你粮食五万斗，马五百匹，金银一万两，彩布一千匹。吕布听了袁术这样的许诺，非常高兴，马上派高顺带兵五万奔袭刘备。
刘备知道吕布要派兵来打自己，趁着下雨赶紧撤出盱眙，准备往东去广陵。
等高顺带着部队到了盱眙以后，刘备早已经走了。高顺去找纪灵要以上东西。纪灵以要和主公袁术商量下为由打发了高顺回去了。高顺回去以后也把这些话跟吕布说了。没过几天，袁术的书信就到了，袁术说，高顺虽然来了，但是刘备害没除，等除掉刘备以后我才能把那些东西给你。吕布这是被袁术刷了一回，吕布大怒，袁术小儿，居然敢耍我，我要让他知道耍我吕布的代价，我要带兵过去打死他。
陈宫劝吕布说，袁术现在兵多粮广，不可轻敌，我们现在可以请刘备驻扎在小沛，等到时候要打袁术了，再让刘备打先锋，打完袁术打袁绍。
吕布听了陈宫的话，派人送了封信给刘备，让他回小沛
刘备带兵去广陵的路上，被袁术跟了上来，兵力损失了大半，正好遇到吕布派人送来的信。刘备看完信后大喜，怎么说也算是找到了个落脚的地方。关羽和张飞说吕布是个无义之人，不可信。刘备说，既然他好情待我，我们不用怀疑他。于是带着剩下的人马往徐州而来。
吕布怕刘备猜疑，所以先让人把刘备的家室都送回去给刘备。甘夫人和糜夫人见到刘备以后，把吕布派人把守府门，并且还送衣送食的情况跟刘备说了。刘备跟关羽和张飞说，我就知道吕布不会还我们的家室。于是要入城拜谢吕布。张飞因为实在太恨吕布了，所以没有跟着去，先带人和两位刘夫人去小沛了。