617年，李渊正式任太原留守，成为一地最高长官。这里粮草充沛，兵员广漠，李渊在此扎下根来，开端积储力量。
617年（大业十三年）农历七月，李渊率军三万誓师，正式起兵。在公布的檄文里斥责隋炀帝听信谗言，殛毙忠良，穷兵黩武，导致民怨沸腾，“豺狼充于门路”，是以，李渊要废掉昏君隋炀帝，尊为太上皇，然后拥立代王杨侑为帝。实在，这仅仅是李渊的一种号令天下的战略。
李渊本来做过刺史，在隋炀帝即位之初做了荥阳（今河南荥阳）、楼烦（今山西静乐县）两个郡的太守，厥后任殿内少监、卫尉少卿。公元613年（大业九年），隋炀帝挞伐高丽时，李渊在怀远镇督运粮草。这时，杨玄感操纵民愤举兵反隋，厥后失利。在这期间，李渊受命镇守弘化郡（今甘肃庆阳县），广交天下豪杰，遭到隋炀帝的猜忌。在615年调任山西、河东，达到龙门时，赶上了母端儿农夫叛逆，李渊领兵击败了叛逆兵，收编万余人，气力大增。第二年，他升为右骁卫将军，任太原道安抚大使，今后落脚太原，运营厥后的起家之地。
李渊大要上承诺了他的要求，公开里却派长史张宝德监督，等李密分开长安要出关时李渊却命令让他留一半兵在华州（今陕西华县）。这时，和李密同业的张宝德向李渊告发说李密要兵变，实际是张宝德怕李密跑掉本身担不叛逆务。李渊便命李密一人入朝。李密感到大祸临头，便起兵想闯出关去，成果被围歼。在和李密的斗争中，李渊充分操纵了李密高傲高傲的缺点，在开端吹嘘李密，等长安拿下后，李密投奔他时又设想撤除了这个隐患。
在招降长安失利后，李渊命令攻城，占据以后又命令制止掳掠百姓，遭到百姓们夹道欢迎。在617年（隋大业十三年）的农历十一月，李渊拥立隋代王杨侑为帝，即隋恭帝，改元义宁，尊在江都（今江苏扬州）的隋炀帝为太上皇，李渊为大丞相，封唐王，以武德殿为丞相府（所今厥后李渊便以“武德”为本身在位时的年号），李世民为秦王。这实际是在为今后称帝搞一个过渡。
在618年，瓦岗军和洛阳的隋军作战得胜，李密想东山复兴，却遭到了部将们的反对，他只好到长安投奔李渊。李渊热烈欢迎他，当作高朋对待，常称李密为弟，还将表妹嫁给他。但厥后李密又嫌弃官小，对李渊说想回山东收伏部下，帮李渊拿下洛阳。
李密遭到李渊的复书也是非常欢畅，因而用心于对于东面的隋军。一东一西，两个李姓人开端了较量，但李密最后还是稍逊一筹，败在李渊部下，还丢了性命。
窦氏在政治方面对李渊的帮忙是非常大的。李渊本来有很多骏马，窦氏就劝他献给爱马的隋炀帝：“皇上喜好鹰和马，您是晓得的，现在应当把骏马献给皇上，不该本身留着，招人闲言诬告。”李渊开端还舍不得他的骏马，厥后真的被隋炀帝责问。窦氏在45岁时归天，李渊这才细细揣摩亡妻的话，感觉很有事理，因而就常常给隋炀帝送骏马鹰犬，隋炀帝公然非常欢畅，很快升李渊为将军。李渊流着泪对儿子们说：“我如果早点听你们母亲的话，早就做上这类官了。”
李渊在太原起兵以后，便以进军关中拿下长安为终究目标。西进的第一个停滞便是西河郡（今山西汾阳县）。李建成和李世民兄弟俩仅用了九天便得胜而归，使得李渊喜出望外。