()卻說李淵自留守太原，名為北防突厥，安定北方，為洛陽樹起一道防護牆，實卻是為了遠離帝都，培植自己勢力，待時而動。因此，自到太原以來，均暗通突厥，年年秋歲暗暗送糧千擔，亦不時與瓦崗李密暗暗聯絡，稱兄道弟，互不相犯，始得數年無大事。
且說解雁門之圍後，太原也曾出兵，李淵為安撫突厥，及時派人到山陰，向始畢可汗送上厚禮、陪禮道歉，言事出轄區內，煬帝又有召令，不得不出兵應付等等。但那始畢可汗雁門大敗，引為奇恥大辱，怎不記恨李淵之流？只是自己新敗，又忌太原兵強馬壯，條件未成熟，不便就立即撕破臉面，出兵報復罷了。
此時，隋各地動蕩不已，朝野英雄豪杰均乘勢而起，擴充勢力，各據一方。那太原西北百里有一個朔方郡，當地一豪強劉武周，曾應征從軍，隨煬帝征高麗累立戰功，後請求還鄉，被任為朔方郡都尉。
那劉武周雖身居都尉，卻頗不安分，仗著家族勢力，勾結地方，拉幫結派，累累欲取朔方太守都相坤而代之。只是苦于北有突厥，南有李淵，加上朔方兵馬又牢牢握在都相坤手中，不敢輕舉妄動。待突厥兵敗雁門，劉武周姑始畢可汗必遷怒于李淵，于是，抓住時機，偷偷潛往山陰拜見始畢可汗，言起兵為突厥報此大仇。那始畢可汗深感太原李淵獨大，不便控制，加上雁門之敗正無處出氣，見劉武周可用，大喜同意支持其起兵，以制約削弱報復李淵，謀取更大的利益。雙方如此如此約定，劉武周乃回。
數日，突厥萬多騎兵突然深入朔方境內，四處虜略，朔方郡太守都相坤一邊派人往報太原，一邊急召劉武周商議應對之策。那劉武周道︰
「突厥人馬雖多，意在搶略財物，此時分散各地，紀律松散，戰斗力不強。太守可盡起朔方人馬，由我等帶領，對其實施各個擊破、滅其數千，必如潮退矣。」
那都相坤不知危殆，連稱妙計，乃將朔方一萬多人馬數盡交與劉武周指揮。那劉武周將一萬多人馬引出城外，駐扎于城下。當天下午，卻率數百親信迅速返回城中，直往府衙，將都太守殺死，並將其親信家屬百多男女一舉殲滅，留得力助手尉遲恭率眾緊守城門，以防有變，自與數人帶著都相坤首級回營，召集全軍，高舉那首級，對將士道︰
「太守都相坤陰結突厥，為禍百姓。今我等替天行道，為民除害。」
那都相坤雖不能文不能武，但平時待人忠厚，頗得將士心，此時眾將士你望我我望你，多不信，但又不敢有異言。突然,軍中一人大聲喝道︰
「都太守可等清正，反賊不得胡言惑眾。眾將士隨我殺之，為太守報仇！」
眾將士聞言望去，卻見副都尉王圭一躍而上，手揮大刀，直殺向劉武周。那劉武周冷不防，急退數步，從部下手中搶過一把長槍，大戰起來。眾將士有追隨王圭的，有追隨劉武周的，大部分一哄而散。
那王圭對抗劉武周出于一時氣憤，不竟未有準備，眼見劉武周勢大，只得率數百親信和千多人馬逃走，直往太原投李淵而去。
劉武周本計劃殺太守一舉奪取軍隊控制權，不想半道殺出個不怕死的王圭，將大好形勢搞亂。待殺退王圭，收攏散兵，清點人馬，只余五千多。萬幸的是，朔方郡終于歸自己所有，又有突厥人支持，來日方長。
李淵得王圭急報朔方郡兵變，疑是突厥從中支持作亂，想舉兵撲滅又怕得罪突厥，不往剿亂又怕得罪朝廷，左右為難，乃召建成、世民、元吉商議。建成道︰
「可先派人通突厥，取消其對我疑慮，再出兵滅之。」李淵點點頭，道︰
「可以試之。」
見世民沉思不言，乃問世民道︰
「此計如何？」
世民答道︰
「我有一計，可一舉數得。」
李淵問道︰
「何計？」
世民道︰
「自父親為太原留守後，王威、高君雅不服，暗中培植親信勢力，雖暫未能對我等構成威脅，實乃今後大患也。不如命之率兵往剿劉武周，派人暗傳信息于突厥，借刀殺人。一來能悄悄清除異己；二來能收其部眾為己用；三來能騙過朝廷；四來不至得罪突厥。」
李淵道︰
「此計好。」
次日，李淵乃召集眾文武，請王圭將朔方郡劉武周兵變之事詳告與各位，商議往討之策。那王威、高君雅本煬帝親信，寸功未立卻長期身居高位，太原人多看不起之，倆人正因當初不敢爭取率兵往參與解雁門之圍而後悔，听得朔方劉武周兵弱，乃互使眼色，暗約定率兵剿亂。此時，道宗、唐儉以及世民帳下眾將均相爭出戰，李淵假作猶豫不定。王威道︰
「吾身為副留守，當為國公分憂，願與監軍高君雅率軍往剿，不勝無歸。」
李淵假喜道︰
「由倆將率兵前往，必勝無疑！需多少人馬？」
王威道︰
「一萬足矣。」
李淵道︰
「兩倍于敵，足矣！」
王威、高君雅及時選定人馬，準備妥當，計劃第二天一早出發。當晚，世民暗至軍中，見軍中都尉和校尉，言王威、高君雅不善兵，如遇敵可相機行事，以保實力雲雲。
次日，王威、高君雅乃率一萬人馬，一路迅速北上，行軍數日，出雁門關，高君雅對王威道︰
「突厥猖狂，雁門以北無險可依，需多派探子了解敵情，再進不遲。」
王威道︰
「兵者，詭道也。今我軍行動迅速，敵必無防。」
于是，乃率大軍繼續北上，到達辛興莊已是傍晚，正要扎營過夜，計劃次日向西直撲朔方劉武周。突然，四面殺聲震天，突厥騎兵滾滾而來。隋軍中的都尉、校尉早得世民之言，見敵突襲，即率各自人馬猛向後撤，那王威、高雅呼喝不定，頓時成了光棍司令，身邊只余數百親信，倆人只得回頭南逃。
回得雁門關，王威、高君雅欲整頓隊伍再戰，召集人馬，問責眾將，將士一齊起哄，王威令親信捉拿為首者，返被眾將士盡殺其親信，一舉將王威、高君雅擒下，綁著押回太原見李淵。李淵假裝公正，綁數名為首者與王威、高君雅一起公審。
府衙堂上，王威、高君雅將眾將士不听揮指之事詳報。各都尉、校尉則言王威、高君雅不善兵事、亂揮指，以至被圍，如不是見機快、果斷後撤，必全軍覆沒雲雲。眾將又言王威、高君雅欲殺有功之將，清除異己，控制軍隊。
李淵暗思事出有因，均不宜從嚴問罪，乃道︰
「此次兵敗，罪在王威、高君雅不明敵情，指揮不力，但因損失不大，倆人又是朝廷大員，暫留用，上報由朝廷處置。各將在主帥不善用兵，突遇敵襲能保全隊伍不失，有大功，當重賞。」
于是，李淵乃各賞百兩黃金。那王威、高君雅見李淵對各將不但不問罪，反而重賞，心中不服，但見出了這麼大事，對自己也不乘機報復，不關押、不撤職，終于長吁了一口氣。
時值八月，剛剛入秋，李淵忽接婁煩急報，劉武周率騎兵兩千南下偷襲汾陽宮，擄走數十嬪妃和宮女北去。
原來，煬帝北巡，曾駐于汾陽數天，在汾陽行宮留下妃嬪和宮女數十名。那劉武周得始畢可汗支持起兵朔方郡，因兵弱不敢履行諾言直接與李淵對抗，察知婁煩太守陸明懦弱，不善將兵，且汾陽空虛，為取悅始畢可汗，率兵沿寧武、靜樂一線南下，突然偷襲汾陽，一舉擄汾陽宮嬪妃和宮女北上，進貢給始畢可汗。始畢可汗大悅，自始引劉武周為可利用對象，全力扶持。
李淵知劉武周深得突厥人支持，不便出兵。只令婁煩太守陸明自綁來太原，將其拘禁，令世民暫代其職，將陸明之罪詳報朝廷。
世民要到婁煩履職，匆匆回家準備，直入房中，卻見楊麗兒與孫長雪霞正在閑聊得親熱，亦不回避，乃對長孫雪霞道︰
「父親命我為婁煩代太守，需出行數天，安排婁煩諸事。你為我準備行裝吧，明天一早出發。」
長孫雪霞應是，乃起來為世民執拾行裝。那楊麗兒見世民將遠行，依依不舍，一雙妙目征征的盯著世民。世民見長孫雪霞出，乃伸手牽楊麗兒進書房，一把抱起親了又親，想放開讓其回去。楊麗兒卻緊緊抱著不放，痴痴抱著世民往床走去。世民明白其要干何事，乃笑道︰
「不怕懷孕了？」
楊麗兒喘氣道︰
「我有藥防，不然早懷你種了。」
世民乃抱楊麗兒上床，寬衣解帶，當即你來我往，激戰了起來。戰至傍晚，楊麗兒才盡興起來，回府而去。
世民亦起來，令侍女打水梳洗，卻見長孫雪霞悶悶不樂的提著一桶水進來，默默為其梳洗。世民見其難過，安慰道︰
「你別難過，以後吾注意便是。」
長孫雪霞道︰
「無它！只此乃弟婦也，恐元吉不放過爾！」
世民道︰
「吾與公主之事，始于京師，元吉早知。」
長孫雪霞乃不言。世民梳洗完畢，摟著長孫雪霞，親了親，繼抱上床，溫存撫模，頓時又激發了勃勃生機，世民又奮槍上馬，深入鳳潭，激戰大半個時晨，方雙雙氣喘吁吁躺下。一會兒，世民道︰
「吾曾聞︰成大事者背後必有一個賢妻。你我夫妻同體，休戚與共，望盡棄女兒之妒，與楊麗兒、杜楊柳等交好，日後必有大用。切記，切記。」
長孫雪霞冰雪聰明，懂世民深意，伏在懷中，溫順的點了點頭。
于是，世民乃別家人前往婁煩，安排好兵事後又回太原。半月之後，李淵正在府衙議事，忽報長孫令到。李淵急接入，令眾人退下，留建成、世民和元吉。長孫令對李淵道︰
「煬帝聞汾陽宮被擄，大怒，令斬陸明，撤國公職，令王威為太原留守。朝廷欽差不日將到。」
李淵想不到煬帝拿此事大做文章，奪己之權，心想如從煬帝旨意，我李家必敗亡無疑，自立之心遂暗起，但又想到北有突厥、東有瓦崗，太原以南和河東盡是隋強將，自己力量不大，猶豫不決，在大堂之上踱來踱去，急得滿頭大汗。
其實，世民因有煬帝愛妃鐘清霞此條內線，早得在京的鐘清文急報，知煬帝之意，已暗與劉文靜商議對策，決定促父親起事。此時，見父親如此，知其起心，乃道︰
「朝廷虎狼之心，昭然若揭。再不行事，必有大禍。」
李淵道︰
「二郎有何良策？」
世民道︰
「今天下大亂，各方王公貴族紛紛自立，土豪四起，戰亂不斷，百姓苦難，父可行先祖大義，為民請命，北聯突厥，東連瓦崗，西交李軌，起兵南下，奪取關中，以為根本，必迅速得天下，安百姓。」
李淵道︰
「此雖金玉良言。但諸事未備，不能冒然行事。爾兄弟三人，務必加強各部聯系，嚴防異己，撐控人馬，積極準備，待時而動。」
三人點頭應是。當晚，李淵父子乃召集手下親信百多人，以煬帝欲加罪之言試之，眾將均請李淵父子起事。李淵不置可否，散去前，乃請大家嚴守秘密，暗暗積蓄力量。
數天，有使報朝廷欽差至。李淵親往城外迎接，卻是故友、世民妻舅高士鐮，大喜，將其接入府衙，令府吏退下，急問道︰
「帝旨意如何？」
高士鐮道︰
「難為國公了，因汾陽之過，除太原留守之職。」
李淵問道︰
「王威、高君雅如何？」
高士鐮答道︰
「不問罪，王威代爾。」
李淵憤憤道︰
「此太不公平也。」
一會兒，繼又笑道︰
「汾陽吾有失，受此懲不為過。吾自此得清閑，正好回隴西休養生息。君既我故友，又是親戚，遠道而來，應先敘友情親情，後再請旨。」
高士鐮正懼李淵因煬帝嚴責反彈累及自己，見其如此開明，又念舊情親情，大喜，當然連聲答應。
于是，李淵大擺百席，請欽差高士鐮坐首席，自己坐次席，王威、高君雅和建成、世民、元吉、長孫無忌等陪同，手下文武一班數百人齊齊到場，開懷暢飲。
席間，李淵父子殷勤敬酒，眾人亦輪翻敬酒。世民見父親少飲，估今晚必有大事，亦少飲假醉。眾人飲至深夜，高士鐮大醉，同來使者亦醉。李淵令長孫無忌、王威、高君雅陪眾來使回譯站，自與世民扶高士鐮到府衙後安置于一獨立院子中。
李淵見高士鐮沉睡，乃對世民道︰
「務必令其改聖旨，不然不便行事。但改聖旨乃滅族之罪，必寧死不肯。如何？」
世民道︰
「可行請君入甕之計。令其先犯滅族之罪，將起義事告之，為自救其必合作。」
李淵笑道︰
「此計絕妙也，既可免我等之罪，又可斷其歸路，為我所用。」
想到如何實施，世民卻犯難道︰
「卻不知如何一夜之間能犯下如此滔天大罪。」
李淵心一動，以手捻髯，笑道︰
「山有自有妙計。」
于是，令下人傳來馬車，將沉睡的高士鐮抬入車內，李淵跳上車，令世民親自執鞭，駕著馬車直往晉陽宮而去。少時，到達晉陽宮，世民才明白父親之計。于是，父子倆將爛醉如泥的高士鐮抬入宮中，直往最近的龐美人屋而去，推開門，抬入，往床上一放，驚得正在與宮女做針線的龐美人大哭，拜倒在李淵腳下，道︰
「受難之人，請國公饒命。」
李淵見美色，于心不忍。世民喝退宮女，手執劍，慍言道︰
「今天下大亂，隋將亡國，爾不早尋出路，必死于亂軍之中。高士鐮將軍乃豪門貴族，投之不但可自保，還得富貴，有何不好？」
龐氏見世民雖言帶威嚇，說的卻十分在理，乃拭去眼淚，答道︰
「願听將軍安排。」
李淵道︰
「今晚爾全心服侍高將軍，我等保其善待爾終生。」
龐氏乃應，卻含羞不上床。世民上前將高士鐮衣服盡月兌去，又對龐美人道︰
「爾亦月兌上床。」
龐氏不得已，乃羞羞答答的月兌衣上床，將被蓋上。李淵父子出，反鎖門，就地而睡。
至深夜，高士鐮醒，聞陣陣幽香，張眼隱隱見身邊睡著一美人，疑李淵為討好自己所為，問道︰
「此何處？」
龐氏笑答道︰
「晉陽宮中」
高士鐮起疑，又問道︰
「爾何人？」
龐氏答道︰
「宮中之人也。」
高士鐮大驚，心道︰李淵害我。乃跳起，急穿衣，欲奪門而逃。不想門被反鎖，打不開。李淵父子在外听得門里動靜，乃起來從容開門。高士鐮一沖而出，直穿過李淵父子而去。李淵喝道︰
「爾罪證確鑿，逃不出宮門。」
高士鐮腿一軟，癱倒在地下，哭道︰
「我族亡矣！」
李淵強笑道︰
「爾既是我故人，又是世民親舅，我敢害爾性命？今有妙計，可令將軍不但白賺美人，還得坦途。」
高士鐮半憂半喜道︰
「願聞其詳。」
于是，李淵遂將素來鴻皓之志告之，並請其參與謀事。高士鐮長期在煬帝身邊，深知隋立國時短，人心未定，根基不穩，加上煬帝志大急功，將好事壞辦，鬧得國庫空虛，民不聊生，各地貴族豪強烽煙四起，一班文武離心離德，隋朝土崩瓦解是遲早的事。見李淵父子為昔日西涼王室後裔，歷多朝而不倒，今更雄霸一方，非泛泛之輩，加上自己又是世民妻舅，李家反必累及自己，不管自己追隨還是不追隨，都是煬帝眼中的一丘之狐，月兌不了關系。于是，乃尷尬道︰
「國公為何不早說，白白折磨有心人。」
李淵哈哈笑道︰
「此時也不遲啊。高將軍還白賺了一絕色美人。」
高士鐮干笑幾聲。世民見其尷尬，緊握其手，安慰道︰
「舅父追隨著我等，必不枉此生。」
高士鐮注目世民，信賴的點點頭。于是，李淵父子乃與高士鐮密謀改聖旨事。繼李淵又連夜命人帶上高士鐮信物，悄悄往河北景縣，將高士鐮家屬遷來太原，自此高士鐮死心塌地的為李家效力，這是後話。
不久，天大光。高士鐮乃回譯站。李淵亦回府衙，召集手下文武百官，整裝靜等欽差到來宣旨。
李淵等了好一會兒，高士鐮卻與大內總管張繼明到，李淵十分驚異，只得相迎。張繼明見李淵疑惑，附其耳邊悄聲道︰
「聖上听鐘妃之言，不再問罪，改令國公起兵征瓦崗。」
李淵未曾聞煬帝身邊有鐘妃，更不曾與鐘妃有往，其竟出力相助，心中又驚異又疑惑，只得與眾人齊齊下拜，三呼萬歲，請聖旨。那張繼明神情莊嚴的打開聖旨，大聲宣讀道︰
「奉天承雲，皇帝詔曰︰瓦崗賊狂，累犯帝都，令太原留守李淵，就地增兵擴軍，東征瓦崗。欽此。」
李淵接旨，與眾文武一道大宴欽差。待眾文武散去，乃向高士鐮、張繼明詳細了解煬帝近況，聞煬帝任楊侑為長安留守，老宋生為助；楊侗為洛陽留守，王世充為助，自與宇文化及率禁軍，與後妃以一班文武大臣南巡江都去了。
李淵听此，暗喜，送走張繼明之後，乃籌劃擴兵之事。那王威、高君雅見有擴大自己實力之機，哪肯放過，乃向李淵請命擴軍。李淵嚴厲喝道︰
「擴軍大事不敢托爾等無用之輩。」
王威、高君雅乃怏怏而出。李淵令世民為擴軍總管，令劉文靜、李道宗、唐儉、劉政會等分頭招兵買馬，令建成、元吉為糧草總管，令長孫無忌籌糧草，令武士造軍服、鎧甲、打刀槍、造箭矢。
就在此時，忽報竇氏病危，急傳建成、世民、元吉至帳前。建成、世民、元吉到得帳前，卻見母親面容枯瘦，雙目含淚。那竇氏見兄弟三人到來，艱難伸出雙手，將兄弟三人之手緊握，道︰
「吾今生唯有所成，乃生爾兄弟三人矣，望不負我苦心，終成大業。」
三人含淚頭點。喘了一會氣，又道︰
「爾兄弟，均我一脈血肉，無論任何時候，只許互相扶持，不得骨肉相殘。」
說罷，以嚴厲的眼光盯著世民，頓時斷氣。世民心中一凜，不明所以，見母親斷氣，淚下如雨。建成、元吉亦悲傷不已。
竇氏亡，李家大辦喪事，一連數日忙個不停。剛安葬竇氏，又有隴西來使報側夫人病亡，校尉薛舉反于金城，自命西楚霸王，進佔隴西，李家大部祖業沒收。李淵听此消息，面色大變，胸如錘撞，突然口吐鮮血，竟一病不起。建成、世民、元吉等兄弟，自是盡心盡力侍奉。
數日之後，李淵漸漸見好，精神卻不振，諸事不理。世民看在眼里，急在心里。又過了十多天，忽鐘清文從江都傳來消息，宇文化及禁錮煬帝于江都，欲取而代之。世民怕此消息傳出，有先知先覺者圖關中，自己坐失先機，心中著急，乃往與劉文靜商議對策。劉文靜道︰
「何不用對付高士鐮之計？」
世民道︰
「乃我親父，不相欺也。」
劉文靜答道︰
「大丈夫在世，當以安天下為己任，不拘小節。」
于是，世民乃往晉陽宮，對副宮監裴寂道︰
「我等大計已定，國公卻猶豫不決，拖延日久，于事不利，更恐敗露于人前，為禍大矣。」
裴寂答道︰
「爾兄弟可言動國公。」
世民道︰
「其不听。還請大人幫忙。」
裴寂心知世民所謀，低頭不言。世民道︰
「為促成事，圖大計，欺一回主又如何？有罪我擔。」
裴寂乃點頭，世民去。次日，裴寂乃以需大修晉陽宮外牆為由，請李淵前來晉陽宮視察。至傍晚，留李淵共進晚餐，裴寂暗下迷藥于李淵酒中，兩人一邊飲，一邊閑聊。只一會兒，李淵便沉沉的睡去。裴寂令晉陽宮中的張美人、尹美人扶入宮中睡去了。
至半夜，李淵睡得迷迷糊糊，以為妾侍耐不住寂寞，互相不讓，上床爭寵，便樂得左右開弓，纏綿**一番，迷迷糊糊又睡去。次日，天大亮，李淵方醒，見身邊睡著的竟是自己曾欲納為妾的煬帝嬪妃張氏和尹氏，大驚，慌向張氏、尹氏問情由。那張氏、尹氏均言裴寂之命。李淵推開張氏、尹氏，欲走。張氏、尹氏牽衣哭道︰
「國之將破，妾等死無葬身之地矣，望國公可憐收留。」
李淵最听不得女人哭，又見宮中數百佳麗，個個可憐，返正都反了，不如就收為己用。于是，乃轉身將兩女扶起，好言安慰了一會，才匆匆出宮而去。至得宮門，撞見裴寂，裴寂轉身就走。李淵上執其手，道︰
「公害我。」
裴寂笑道︰
「國公既自立，正缺嬪妃，何不盡將宮女收為己用？」
李淵苦笑道︰
「只能如此了。望君為我守護之。」
裴寂答道︰
「只要國公抓緊起事，在下無不唯命是從。」
于是，李淵便決心加快準備步伐，加緊擴兵，籌備糧草物資。派道宗出使瓦崗，與瓦崗李密相約永為兄弟，請李密出兵攻洛陽，居中原為帝，自率軍攻關中，只稱王，今後一切听瓦崗號令。唯如何聯系突厥，一時不定，乃與建成、世民密議。世民道︰
「突厥地廣人稀，物產稀缺，其意不在地，乃在財物也。不如與其訂立盟約，其出兵支持我南下，地歸我，財歸其。」
李淵道︰
「怕**難填。」
世民道︰
「待我等南下坐大，其亦控制不了我等。」
李淵以為然。于是，世民乃推薦劉文靜出使突厥，李淵親寫書信交與劉文靜，信中密言︰永對始畢可汗稱臣，請其助兵南下關中，相約得地歸李唐，得財歸突厥。
那王威、高君雅見李淵擴兵籌糧諸事均不用己而用其親信，又察知劉文靜北去，疑李淵聯突厥反隋，悄悄對其下屬武士道︰
「李淵必反，請君親自率人往報煬帝，派兵來剿。」
武士暗暗吃驚，假應，卻暗中報與李淵。李淵問計裴寂。裴寂附李淵耳如此如此的說了陣。李淵一听，喜得連連稱是，乃傳劉政會，對劉政會如此如此的囑咐了翻，劉政會乃去。次日，李淵召文武言事。忽劉政會手拿一書信到，言有人暗聯突厥。王威欲拿來看。劉政會卻道︰
「此事與君有關。」
乃將書信遞與李淵。李淵看罷，以書信示眾，大喝道︰
「拿下王威、高君雅。」
衙吏驚疑，不敢動。世民手一揮，數十名武士從門外沖入，一舉拿下王威、高君雅。王威、高君雅大叫冤枉。世民拿來兩木棒，插入其口，押入大牢。
次日，果有大批突厥騎兵沖到城外，侵擾百姓。李淵乃令將王威、高君雅斬首示眾。百姓怒其聯突厥為禍，以石擊其首級。
十多天之後，道宗回，言瓦崗李密正謀南下攻洛陽，卻怕長安出兵相助，聞李淵之約，大喜，便相約南下圖隋。數日之後，劉文靜亦回，言始畢可汗答應所請，還答應支持戰馬數千，不日將到，並請李淵為中原帝皇。李淵大喜，召文武商議舉義兵事。眾將一齊推議李淵易幟為唐，自立為帝，號召天下，建成、元吉推波，李淵頗為動心。世民、劉文靜、裴寂等認為不可，雙方相持不下。此時，世民道︰
「今雖天下大亂，各地烽煙四起，人心散亂而未有稱帝者，皆懼楊氏立國未久，功臣名將得其厚賞，王公貴族記其恩澤，護楊氏子孫之勢力不可輕視，所恨者，乃煬帝寡義多忌，任人唯親，好戰喜功，大傷士族之利也。今率先反隋，必落人口實，成眾矢之的。還不如暫居人下，以匡扶隋室、清除敗政之名起兵，各方必多歸附，關中可速下，天下可定矣。」
李淵听世民說得有理，不禁點頭，繼深以為然。于是，乃遍發檄文于山西、河東、河西、關中、山東以及中原各郡，歷數煬帝奢腐誤國之罪狀，倡議立為太上皇，擁立楊勇之孫楊侑為恭帝。李淵自稱輔國大將軍，任裴寂為長史，劉文靜為司馬，唐儉為記室，長孫無忌為糧司，高士鐮為戶司，武士為鎧甲司，李道宗、劉政會、殷開山、劉玄基、候君集、段志玄、王圭等為左右參軍，此外，文武各部屬，均量才而用；又授建成為隴西公，兼左軍大都督；世民為敦煌公，兼右軍大都督，均開府置官屬。元吉為後軍大都督。李淵乃盡收晉陽宮嬪妃。又令長孫無忌清點糧草、物資，收入軍庫。接著，傳榜文于各郡，令起兵前來，共同起兵南下進軍長安，保衛恭帝。
婁煩、忻州、雁門、陽泉、汾陽等十多郡均響應，起兵而來。李淵親自往接，見李靖自來，想起前事，乃令人擒綁，欲推出門外斬之。李靖大聲道︰
「士為知己者死。今莫非錯听妻言，乃至有此禍？」
李淵想起多年相交，感嘆唏噓。世民素知李靖之能，急上前阻止，對李淵道︰
「李靖久隨我多年，功勛卓著，其告我等造反，乃受煬帝之惑，一時之過。今不疑我，敢隨我起兵，非常人之決心也，也實深感家父知遇之恩，怎能殺之？」
于是，李淵放了李靖，卻尷尬于朝晚相見，乃令到世民帳下听令。
卻說呂梁太守楊國其，乃皇族，聞李淵起兵，一面急報洛陽，一面仗著有霍州宋老生援兵，出兵進佔汾陽，欲斷李淵南下之路。李淵聞探子來報，令建成、世民率三萬多人馬往討。第三日，兵至汾陽城下。世民對建成道︰
「敵兵至汾陽，呂梁空虛，兄率三萬人馬在汾陽與之對抗，我率五千騎兵偷入呂梁，襲其大本營，其必敗回。其時，你我前後包圍，必殲滅之。」
建成連稱妙計，世民留劉文靜、李靖助建成，率三萬人馬往汾陽城外，扎下大營，攻打汾陽城。世民自與劉玄基、段志玄、殷開山、劉政會、候君集、何常等率五千騎兵沿著會立、東坡、龐泉、峪口之間的小路，直殺向呂梁。
一路急行軍，到第三天傍晚，到達呂梁城外。世民見呂梁城門未關，即揮軍殺入，城中只有一萬多人馬，毫無防備，頓時，被沖殺得七零八落，逃命去了，來不及逃命的，都做了俘虜。
世民令盡搜楊國其部屬和族人，一舉殺之。令候君集整頓降卒，隨後率回太原。自與眾將率騎兵馬不停蹄沿著大道東回，直奔汾陽城。
那在汾陽城督戰的楊國其，聞世民僅以五千人馬偷襲呂梁城，一家大小全被屠殺，大悲，匆忙率三萬人馬離開汾陽西回，欲尋世民報仇。不想一出城，建成馬上進佔城池，又大舉率兵追擊。那楊國其本不善兵，只得加快西逃，不想遇上世民騎兵，前後一陣夾攻，頓時被全部沖散，潰不成軍。那楊國其見兵敗如山倒，將刀往頸上一橫，竟自刎而死。建成、世民乃縱兵擒俘虜。此戰，殲敵一萬，生俘兩萬，全勝而回。建成見何常勇猛，又是妻弟，可作為自己左右手，向世民討之。世民回問何常。何常道︰
「將軍因非親而棄我？」
世民答道︰
「生死之交，勝于骨內，何言棄？今兄強討，或得重用，且從之。今後或有所求，怕爾另有所屬，不再听我矣。」
何常泣道︰
「將軍乃我再世父母，但有所驅，必不惜命。」
世民大喜，上前緊握其手，道︰
「一方為定！」
于是，何常乃歸建成帳下。兄弟兩率軍回得太原。李淵大喜，重賞三軍將士。于是，全軍士氣高漲，更增添了南取關中的信心。