但有人並不這麼認為，覺著既然說出了口，就得遵循，否則豈非成了背信棄義的小人，再者，李密入朝之後，他底下的將領也會在朝為官，可以將之逐一瓦解分，如此一來，李密孤身一人，又能掀起什麼風浪來；不費一兵一卒而滅掉李密，遠遠要好過動刀動槍，畢竟除了李密，還有李淵、竇建德等人虎視眈眈，這兵力浪費不得；這一派，以元文都為首。
王世充對此自是不同意，李密就如一頭狼，一旦引狼入室，想再趕出去可就難了，而且……元文都究竟是真的想用這個懷柔政策對付李密，還是想趁機勾結李密來對付他，還是未知之數。
雖然他與元文都都是輔助楊侗的，卻互不對照，要不是他握著兵權，洛陽城還需要他來守，元文早就對付他了；一旦李密入城，那元文都就等于多了二十萬大軍，到時候，只怕自己的地位就沒如今這麼穩固了出于這種種考慮，王世充堅決不同意讓李密入城。在這樣的僵持下，一個人站在了元文都那一邊，令事情發生了傾斜，此人就是楊侗。
雖然後者只是一個沒多大實權的皇帝，但畢竟是皇帝，他都支持了元文都，就算是他王世充，也不好明著干。
就在所有人都以為李密入城已是鐵板釘釘之時，王世充在洛陽發動軍事政變，誅殺元文都等人，如此一來，掌握在他手中的，就不僅僅只是軍權了，有政權，就連楊侗也被他軟禁在宮中，整個洛陽城皆被他掌握于手中，而李密入城一事，也徹底斷了希望。
經過連番大戰，李密大軍已是極為疲憊，迫切需要入城休養生息，可偏偏王世充就是不肯開門，所以雙方又回到了原先的情況，一方圍攻洛陽，一方死守洛陽。
在王世充與李密僵持之時，李世民亦回到了長安，離開之時，是十萬大軍，回來卻只剩下七萬余人，至于洛陽，也不曾攻下。
在向李淵稟明這一路的情況後，李世民跪下道︰「兒子不僅未替父親攻下洛陽城，還因大意中了王世充的圈套，令眾多一路隨我們從太原打過來的士兵葬身于洛陽城外，兒子實在罪該萬死，請父親治罪。」
劉文靜也來了，聞言連忙跪下道︰「啟稟唐王，這一切皆是文靜大意之故，被王世充識穿了身份還茫然不知，唐王要罰，就罰文靜，不要怪二公子，這次要不是二公子沉著應對，恐怕傷亡會更加嚴重。」
李淵望著跪在面前的二人未語，站在他身邊的李建成道︰「父親，這件事實在怪不得二弟與劉先生，誰也想不到，洛陽那方面竟然會與李密聯手，利用李密去對付宇文化及；士兵認出劉先生，更是意外中的意外，實在怪不得世民。」
李淵亦知李世民此行不易，本就沒有深究之意，再加上李建成從旁求情，輕責幾句就命他們二人起身，旋即嘆道︰「如今洛陽城有李密襄助，不吝于如虎添翼，看來短時間內，咱們是沒機會攻下洛陽了。」
李建成恭聲道︰「啟稟父親，兒子剛剛接到急報，李密並沒有入城。」
李淵尚不知此事，驚訝地望著李建成，待得听後者說完之後，眉眼間的驚訝之意更甚，「你是說……他將越王軟禁了起來？」雖然王世充等人擁立了楊侗為帝，但李淵他們還是將之稱為越王，畢竟長安的皇帝是楊侑。
「不止如此，這是兒子安插在洛陽的探子所傳回，應該屬實。」頓一頓，李建成又道︰「恕兒子直言，看王世充的樣子，恐怕是想自立為帝，畢竟楊廣已經死了，如今連能夠牽制他的元文都也死了，廢掉越王，對他來說，是輕而易舉之事。」
李淵頷首道︰「以王世充的心思，這不是不可能之事。」思忖片刻，他道︰「從現在開始，盯緊洛陽，有任何消息就立刻稟告于我，不得延誤。」
待得李建成答應後，李淵望著李世民二人道︰「你們這一路回來，也辛苦了，都下去歇著吧，過兩日再商議接下來的事情。」
待得李世民二人下去後，李建成眸光微閃，湊近了道︰「父親，其實楊廣已經死了，楊侑又什麼都不懂，根本擔負不了天下興亡安危，您何不……取楊侑而代之！」
「放肆！」李淵厲聲斥道︰「我李家世代深受皇恩，豈可做出如此行為。」
「恕兒子直言，楊氏一族，雖于我李氏有恩，但父親做到今日這一步，什麼樣的恩情都還了，根本就不欠楊氏什麼；相反，楊廣在位以來，倒行逆施，犯下無數大罪，楊家早就已經沒資格成為天下之主，父親取代而之，乃是順應天命！」
「如今尚且無楊氏之外的人稱帝，一旦為父取陛下而代之，就會成為眾矢之的，對我們百害而無一利。」其實李淵並非不想做皇帝，只是……皇帝這個位置，不是那麼好坐的，想要坐穩，一點都不易，必須得三思再三思。
「可是王世充他……」李建成剛說了幾個字，便被李淵打斷，「為父知道你想說什麼，不錯，王世充是軟禁了越王，但他畢竟沒有稱帝，所以，且先看著吧，總之咱們萬萬不可當最先的那只出頭鳥，明白嗎？」。
李建成雖猶有不甘，卻也知道李淵說得是實情，只得道︰「兒子明白。」
李淵點一點頭，道︰「你去安撫那些受傷的士兵，每人發米三斗，錢兩貫；至于死去的士兵，若能找到家人的，一律發米五斗，錢三貫；如今隨時都有可能用兵，萬不能讓士兵們寒心。」
「兒子知道，若父親沒別的吩咐，兒子下去了。」在李淵點頭後，李建成退出了書房，一到外面，便看到李世民站在外面，驚訝地道︰「二弟，你怎麼還在這里，有事情嗎？」。
李世民走上來道︰「剛才多謝大哥替我說話。」