小沛里徐州才四五十里地，呂布帶人來到徐州城外的時候才是四更天而已。天上的月光照耀這城上的青磚。呂布來到城門前就對立面喊話了︰「劉使君有重要情報送到快開門。」剛好當天守城門的就是曹豹，曹豹知道呂布來了就讓人趕緊把城門打開，就這樣徐州淪陷了。
而這個時候張飛還在府上睡覺沒有酒醒呢，身邊的隨從急忙搖醒張飛說︰「呂布騙開城門，已經殺進來了。」張飛大怒，慌忙披掛上馬，一出門就遇到了呂布。張飛這個時候酒還沒醒，不能力戰，但是呂布也知道張飛不好對付，也不敢怎麼樣張飛。張飛在十八騎親兵的保護下殺東門而出。劉備的家室都還留在徐州，還沒來得及救出來。
曹豹看張飛只帶這麼十幾個人逃走，心里的氣實在咽不下去，而且看張飛還沒酒醒，于是帶著百幾十人就追了上去。
張飛一看後面追上來的曹豹更是大怒，拍馬挺矛就奔曹豹而去，雖然這個時候沒有完全酒醒，但是經過這麼一路狂奔，張飛也醒了個大概，沒三個回合就把曹豹打敗了，但是張飛也咽不下這口氣，于是追著曹豹到河邊的時候從後背一矛把曹豹連人帶馬刺死于河中。張飛在城外收集逃出城的士兵，帶著這些人往南陽劉備去了。
而呂布入徐州城以後也安撫民眾，還派了一百多人把守劉備的府邸，不許外人擅自進入。
張飛帶著這些殘兵敗將來到盱眙找到劉備，把曹豹里應外合于呂布勾結偷襲徐州的事情經過都跟劉備講了。大家一听徐州已經失陷了，大驚失『色』，這次是連家都沒有了。關羽把張飛罵了一頓︰「你當初守城的時候說什麼來著，當時兄長有是怎麼吩咐你來著？現在徐州丟了，連嫂嫂都不見了，你說你怎麼辦好。」張飛听關羽這麼說，心里實在不是滋味，于是拔劍準備自刎。好在劉備上千抱著張飛說︰「兄弟如手足，女人如衣服，衣服破了還可以補，手足斷了就沒有了，而且我們當初桃園結義的時候說過同生共死，如果你『自殺』了，我和你關二哥是不是也要陪著你自刎。」說完三個人就抱著痛哭流淚。
卻說袁術知道呂布已經偷襲徐州得手，于是連夜派人到呂布那里，跟呂布說，如果你派人和我一起夾擊劉備，我就給你糧食五萬斗，馬五百匹，金銀一萬兩，彩布一千匹。呂布听了袁術這樣的許諾，非常高興，馬上派高順帶兵五萬奔襲劉備。
劉備知道呂布要派兵來打自己，趁著下雨趕緊撤出盱眙，準備往東去廣陵。
等高順帶著部隊到了盱眙以後，劉備早已經走了。高順去找紀靈要以上東西。紀靈以要和主公袁術商量下為由打發了高順回去了。高順回去以後也把這些話跟呂布說了。沒過幾天，袁術的書信就到了，袁術說，高順雖然來了，但是劉備害沒除，等除掉劉備以後我才能把那些東西給你。呂布這是被袁術刷了一回，呂布大怒，袁術小兒，居然敢耍我，我要讓他知道耍我呂布的代價，我要帶兵過去打死他。
陳宮勸呂布說，袁術現在兵多糧廣，不可輕敵，我們現在可以請劉備駐扎在小沛，等到時候要打袁術了，再讓劉備打先鋒，打完袁術打袁紹。
呂布听了陳宮的話，派人送了封信給劉備，讓他回小沛
劉備帶兵去廣陵的路上，被袁術跟了上來，兵力損失了大半，正好遇到呂布派人送來的信。劉備看完信後大喜，怎麼說也算是找到了個落腳的地方。關羽和張飛說呂布是個無義之人，不可信。劉備說，既然他好情待我，我們不用懷疑他。于是帶著剩下的人馬往徐州而來。
呂布怕劉備猜疑，所以先讓人把劉備的家室都送回去給劉備。甘夫人和糜夫人見到劉備以後，把呂布派人把守府門，並且還送衣送食的情況跟劉備說了。劉備跟關羽和張飛說，我就知道呂布不會還我們的家室。于是要入城拜謝呂布。張飛因為實在太恨呂布了，所以沒有跟著去，先帶人和兩位劉夫人去小沛了。