杨广这些日子满脑门的心机全都放在了如何能策应杨爽雄师安然从关外返来这一件事上，底子未曾留意到李渊已发明安如溪守在本身身边，此时听李渊问起安如溪因何回到本身的身边，才蓦地惊觉，忙含糊其辞地对付他道：“原是我离京前，她受命还了俗，这才又回到我身边来的。表兄，请再饮一杯。”
前来赴宴的李彻、赵才等人因与杨广、李渊二人坐得相隔较远，又多喝了几杯，对他二人说的话并没听得很清楚，目睹得杨广起家向李渊施礼，误觉得杨广有送客之意，忙纷繁起家向杨告白辞。
一个月后，杨坚给杨爽这道奏章的答复下达到了并州：准杨爽所请，免除其河北道行军元帅之职，其军权暂由杨广代掌，调杨爽回京，仍兼任雍州牧。
“若溪于我出镇并州，保北境安宁着力颇多，且迟早有一日，我将禀明父皇、母后，正式纳她为妾，目下但请表兄回京晋见母后之时，不要在母前面前提及此事，阿纵就不堪感激了。”杨广听李渊竟劝本身趁早打发了安如溪，急得起家向李渊鞠躬行了一礼，哀告道。
临时撂下杨爽返京不提，拐返来再说说李渊。
因杨爽称病不出，伴同他北伐的麾下将领如杜彦、周摇等人也自感无颜应邀赴宴，以是，前来赴宴的只要李渊和李彻并赵才等未几的几位将佐。
令杨广厥后越想越感到不安的是，李渊也仅仅向他问了这么一句，便就此打住，不再持续诘问下去了。
李渊深知皇后独孤伽罗对原是宇文般若贴身侍女的安如溪非常记恨，此时又见杨广为了本身不向独孤伽罗禀报安如溪已跟从他来了并州，竟然说出要将本身强留在并州的话来，又觉好气，又是好笑，遂耐下心来劝杨广道：“娘娘于诸皇子中，最心疼的就是王爷你了，我劝王爷千万不要因为一名侍女而开罪了娘娘。如果王爷真故意留下她在身边，也请王爷趁早将此事照实向娘娘禀明，免得被娘娘先察知了此事，于王爷，于安如溪本人，都没有好处。”
杨爽抱病给天子写了份请罪奏章，要求杨坚免除他河北道行军元帅之职，并保举杨广代替他执掌北境雄师。杨爽在这份奏章中，毫不忌讳地列举了杨广自出镇并州以来，采纳的各种强军办法，此中特别指出，此次本身率军北伐，被困于关外，若不是杨广不拘于朝廷军制，就近向杨俊求援，及时求得救兵声援并州，本身只怕就要全军淹没的运气了。他以为，杨广年纪虽小，但以他之能，足以担负其河北道行军元帅的重担，带领雄师北御突厥。
杨爽奉调分开并州后，河北道行台的军政大权便尽付与杨广一人统掌，他也成为了杨俊、杨秀三位出镇外藩的皇子当中独一一名独掌军政大权的皇子。开皇二年四月间，杨广方才年满十四岁。