随后，颠末筹办多时的李渊传檄各州、县，宣布正式起兵。李渊统领内的西河郡隋将得知李渊起兵的动静，依城把守。李渊只好派儿子李建成、李世民率兵攻打西河，并派太原令温大有参谋军事。西河郡兵微将寡，郡丞高德儒闭门守城。但是李建成仅仅用了9天时候便攻陷西河君，杀死了不肯兵变的高德儒。至此，李渊作为太原留守统领的五个郡的地盘除了三个郡被刘武周占据外，剩下的太原与西河两军皆归李渊统统。
李世民分歧意退兵的战略，便苦谏父亲李渊说：“现在恰是收成季候，郊野到处都是菽谷，何必担忧粮食不敷？”同时他以为刘武周与突厥“外虽相附，、内实相猜”，刘武周不会舍掉马邑去袭太原。另有李世民以为劈面的“宋须生轻躁，一战可擒”。最后他建议父亲只要抓紧机会；照本来目标“先入咸阳，号令天下”，才是精确的决策，并且说如果一点小的波折便行退兵，必定会形成“众散于前，敌乘于后”的局面，使本身陷于复灭的运气。
李建成也支撑李世民的主张，也反对退回太原。考虑再三的李渊随后窜改退兵决计，追回军队重新围攻霍邑。
李渊渡河今后，先在朝邑，以掉队到冯翊。见攻取长安的机会已经成熟，乃命李建成率精兵自永丰仓经新丰(陕西临潼)到长乐宫(长安东北)与李世民所部完成了对长安的包抄。此时，陕北各郡县也纷繁请降。
这时，正在攻打洛阳的李密兵锋正盛，有囊括天下的气势，以是李渊就写信给李密但愿缔盟共同对于隋军。李密见信后，答复李渊说缔盟能够但是要他亲身到河内(今河南沁阳)和他筹议缔盟的事。李渊见信后说：“密妄自矜大，非折简可致。吾方有事关中，若遽绝之，乃是重生一敌；不如卑辞推奖，以骄其志，使为我塞成皋(虎牢关)之道，缀东都(洛阳)之兵，我得专意西征。俟关中安定，据险养威，徐观鹬蚌之势。以收渔人之功，未为晚也。”因而李渊给李密的信中很卑恭地说：“天生烝民，必有司牧，当今为牧。非子而谁，老夫年逾知命，愿不及此”。李密在接到李渊信后，见李渊如此推许本身，就放松了对李渊的警戒并和他简朴缔盟。李渊的粗心不但忽视了对李渊图天下野心的防备，并且还实际为李渊造反牵掣了隋军主力。使隋军不能西救关中长安。
拿下西河郡后，李渊号令开仓赈饥，招募兵士。并开大将军府，置全军，李渊亲任大将军。以宗子李建成为陇西公、左领军多数督，统领左军；次子李世民为炖煌公、右领军多数督，统领右军；小儿子李元吉为姑臧公，统领中军。裴寂为长史，刘文静为司马。
因为屈突通在河东凭坚城恪守，李渊雄师主力没有停顿，李渊便想绕过河东直趋长安。这时，裴寂以为：屈突通兵力不小，凭坚以守，若舍之而去，如果攻长安不下，退为河东所乘，“腹背受敌”很伤害，应抢先打下河东再进步。而次子李世民和裴寂的定见再次分歧，他以为：“兵贵神速”，应当乘势敏捷入关，则长安震惊。“智不及谋，勇不及断”，攻取很轻易。不然，顿兵坚城，空耗日月，长安就能安闲以备我，胜利就难了。因而李渊就以一部兵力持续围攻河东，本身率主力渡河入关。