但有人并不这么认为，觉着既然说出了口，就得遵循，否则岂非成了背信弃义的小人，再者，李密入朝之后，他底下的将领也会在朝为官，可以将之逐一瓦解分，如此一来，李密孤身一人，又能掀起什么风浪来；不费一兵一卒而灭掉李密，远远要好过动刀动枪，毕竟除了李密，还有李渊、窦建德等人虎视眈眈，这兵力浪费不得；这一派，以元文都为首。
王世充对此自是不同意，李密就如一头狼，一旦引狼入室，想再赶出去可就难了，而且……元文都究竟是真的想用这个怀柔政策对付李密，还是想趁机勾结李密来对付他，还是未知之数。
虽然他与元文都都是辅助杨侗的，却互不对照，要不是他握着兵权，洛阳城还需要他来守，元文早就对付他了；一旦李密入城，那元文都就等于多了二十万大军，到时候，只怕自己的地位就没如今这么稳固了出于这种种考虑，王世充坚决不同意让李密入城。在这样的僵持下，一个人站在了元文都那一边，令事情发生了倾斜，此人就是杨侗。
虽然后者只是一个没多大实权的皇帝，但毕竟是皇帝，他都支持了元文都，就算是他王世充，也不好明着干。
就在所有人都以为李密入城已是铁板钉钉之时，王世充在洛阳发动军事政变，诛杀元文都等人，如此一来，掌握在他手中的，就不仅仅只是军权了，有政权，就连杨侗也被他软禁在宫中，整个洛阳城皆被他掌握于手中，而李密入城一事，也彻底断了希望。
经过连番大战，李密大军已是极为疲惫，迫切需要入城休养生息，可偏偏王世充就是不肯开门，所以双方又回到了原先的情况，一方围攻洛阳，一方死守洛阳。
在王世充与李密僵持之时，李世民亦回到了长安，离开之时，是十万大军，回来却只剩下七万余人，至于洛阳，也不曾攻下。
在向李渊禀明这一路的情况后，李世民跪下道：“儿子不仅未替父亲攻下洛阳城，还因大意中了王世充的圈套，令众多一路随我们从太原打过来的士兵葬身于洛阳城外，儿子实在罪该万死，请父亲治罪。”
刘文静也来了，闻言连忙跪下道：“启禀唐王，这一切皆是文静大意之故，被王世充识穿了身份还茫然不知，唐王要罚，就罚文静，不要怪二公子，这次要不是二公子沉着应对，恐怕伤亡会更加严重。”
李渊望着跪在面前的二人未语，站在他身边的李建成道：“父亲，这件事实在怪不得二弟与刘先生，谁也想不到，洛阳那方面竟然会与李密联手，利用李密去对付宇文化及；士兵认出刘先生，更是意外中的意外，实在怪不得世民。”
李渊亦知李世民此行不易，本就没有深究之意，再加上李建成从旁求情，轻责几句就命他们二人起身，旋即叹道：“如今洛阳城有李密襄助，不吝于如虎添翼，看来短时间内，咱们是没机会攻下洛阳了。”
李建成恭声道：“启禀父亲，儿子刚刚接到急报，李密并没有入城。”
李渊尚不知此事，惊讶地望着李建成，待得听后者说完之后，眉眼间的惊讶之意更甚，“你是说……他将越王软禁了起来？”虽然王世充等人拥立了杨侗为帝，但李渊他们还是将之称为越王，毕竟长安的皇帝是杨侑。
“不止如此，这是儿子安插在洛阳的探子所传回，应该属实。”顿一顿，李建成又道：“恕儿子直言，看王世充的样子，恐怕是想自立为帝，毕竟杨广已经死了，如今连能够牵制他的元文都也死了，废掉越王，对他来说，是轻而易举之事。”
李渊颔首道：“以王世充的心思，这不是不可能之事。”思忖片刻，他道：“从现在开始，盯紧洛阳，有任何消息就立刻禀告于我，不得延误。”
待得李建成答应后，李渊望着李世民二人道：“你们这一路回来，也辛苦了，都下去歇着吧，过两日再商议接下来的事情。”
待得李世民二人下去后，李建成眸光微闪，凑近了道：“父亲，其实杨广已经死了，杨侑又什么都不懂，根本担负不了天下兴亡安危，您何不……取杨侑而代之！”
“放肆！”李渊厉声斥道：“我李家世代深受皇恩，岂可做出如此行为。”
“恕儿子直言，杨氏一族，虽于我李氏有恩，但父亲做到今日这一步，什么样的恩情都还了，根本就不欠杨氏什么；相反，杨广在位以来，倒行逆施，犯下无数大罪，杨家早就已经没资格成为天下之主，父亲取代而之，乃是顺应天命！”
“如今尚且无杨氏之外的人称帝，一旦为父取陛下而代之，就会成为众矢之的，对我们百害而无一利。”其实李渊并非不想做皇帝，只是……皇帝这个位置，不是那么好坐的，想要坐稳，一点都不易，必须得三思再三思。
“可是王世充他……”李建成刚说了几个字，便被李渊打断，“为父知道你想说什么，不错，王世充是软禁了越王，但他毕竟没有称帝，所以，且先看着吧，总之咱们万万不可当最先的那只出头鸟，明白吗？”。
李建成虽犹有不甘，却也知道李渊说得是实情，只得道：“儿子明白。”
李渊点一点头，道：“你去安抚那些受伤的士兵，每人发米三斗，钱两贯；至于死去的士兵，若能找到家人的，一律发米五斗，钱三贯；如今随时都有可能用兵，万不能让士兵们寒心。”
“儿子知道，若父亲没别的吩咐，儿子下去了。”在李渊点头后，李建成退出了书房，一到外面，便看到李世民站在外面，惊讶地道：“二弟，你怎么还在这里，有事情吗？”。
李世民走上来道：“刚才多谢大哥替我说话。”