拿下西河郡后，李渊号令开仓赈饥，招募兵士。并开大将军府，置全军，李渊亲任大将军。以宗子李建成为陇西公、左领军多数督，统领左军；次子李世民为炖煌公、右领军多数督，统领右军；小儿子李元吉为姑臧公，统领中军。裴寂为长史，刘文静为司马。
李建成也支撑李世民的主张，也反对退回太原。考虑再三的李渊随后窜改退兵决计，追回军队重新围攻霍邑。
这时，正在攻打洛阳的李密兵锋正盛，有囊括天下的气势，以是李渊就写信给李密但愿缔盟共同对于隋军。李密见信后，答复李渊说缔盟能够但是要他亲身到河内(今河南沁阳)和他筹议缔盟的事。李渊见信后说：“密妄自矜大，非折简可致。吾方有事关中，若遽绝之，乃是重生一敌；不如卑辞推奖，以骄其志，使为我塞成皋(虎牢关)之道，缀东都(洛阳)之兵，我得专意西征。俟关中安定，据险养威，徐观鹬蚌之势。以收渔人之功，未为晚也。”因而李渊给李密的信中很卑恭地说：“天生烝民，必有司牧，当今为牧。非子而谁，老夫年逾知命，愿不及此”。李密在接到李渊信后，见李渊如此推许本身，就放松了对李渊的警戒并和他简朴缔盟。李渊的粗心不但忽视了对李渊图天下野心的防备，并且还实际为李渊造反牵掣了隋军主力。使隋军不能西救关中长安。
李渊雄师度过黄河后，声望所至，隋朝官吏纷繁投降。华阴令李孝常献永丰仓投降，使李建成等得以顺利地占据永丰仓。李世民所到之处，收编隋军和各小部分叛逆兵，短期内“胜兵九万”设营在泾阳，并派刘弘基攻取了扶风，度过渭水，屯军在长安故城。原在关中地区的李渊亲族，如其女李氏，婿段纶，族弟李神通等，也呼应李渊起兵，并与长安四周各小部分叛逆兵汇合，占据了兰田、盏屋、武功、始划一地，人数到了十余万人，皆同一归李世民批示。
八月，大雨停止了，回军的李渊率马队沿巷子奔霍邑，宋须生守城不出。李渊无法就派李建成、李世民带领几十骑到城下唾骂宋须生，同时本身带领马队在城东埋伏。宋须生乃率众三万自东门、南门分道而出。李渊这时即同李建成左军结阵于东门，令李世民右军结阵于南门，以断宋须生的逃路。成阵以后，又怕宋军背城不肯远战，乃号令军队向后收缩，伪作退避宋军模样。宋须生公然以为李渊畏缩，在间隔城一里余处所布阵。不久李渊的后续军队来到，李渊想命军队就食后再战，李世民以为，“时不成失”，遂策动了的打击。一比武，李渊、李建成在城东的步地倒霉，便向后引退，李世民发明宋须生雄师侧背透露，即引兵自城南直冲宋须生军阵后，并扬言已俘虏宋须生，隋军大溃败，李渊得以敏捷占据了霍邑。
李世民分歧意退兵的战略，便苦谏父亲李渊说：“现在恰是收成季候，郊野到处都是菽谷，何必担忧粮食不敷？”同时他以为刘武周与突厥“外虽相附，、内实相猜”，刘武周不会舍掉马邑去袭太原。另有李世民以为劈面的“宋须生轻躁，一战可擒”。最后他建议父亲只要抓紧机会；照本来目标“先入咸阳，号令天下”，才是精确的决策，并且说如果一点小的波折便行退兵，必定会形成“众散于前，敌乘于后”的局面，使本身陷于复灭的运气。