杨爽率领着残存的近五万人马，随同李渊、李彻所部一道撤回关内，回想起此番自己率军北伐的前后经过，非但一城一地未得，反而折损了将近三万人马，杨爽既羞且愧，回到并州城内，只匆匆和杨广等人打了个照面，便将军权委托给杨广，自己则回到住处，一病不起。
杨爽抱病给皇帝写了份请罪奏章，要求杨坚免去他河北道行军元帅之职，并推荐杨广代替他执掌北境大军。杨爽在这份奏章中，毫不隐讳地列举了杨广自出镇并州以来，采取的种种强军措施，其中特别指出，此次自己率军北伐，被困于关外，若不是杨广不拘于朝廷军制，就近向杨俊求援，及时求得救兵增援并州，自己只怕就要全军覆没的命运了。他认为，杨广年纪虽小，但以他之能，足以担当其河北道行军元帅的重任，率领大军北御突厥。
一个月后，杨坚给杨爽这道奏章的答复下达到了并州：准杨爽所请，免去其河北道行军元帅之职，其军权暂由杨广代掌，调杨爽回京，仍兼任雍州牧。
杨爽奉调离开并州后，河北道行台的军政大权便尽赋予杨广一人统掌，他也成为了杨俊、杨秀三位出镇外藩的皇子之中唯一一位独掌军政大权的皇子。开皇二年四月间，杨广刚刚年满十四岁。
暂且撂下杨爽返京不提，拐回来再说说李渊。
李渊统领三万援军抵达并州后不久，就因西线战事发生变化，他没费多大力气，便成功地率军从关外接应回了杨爽大军。虽然杨爽为此一病不起，但毕竟能于突厥重兵围困下解救得五万大军安然归来，仍算得上是一件喜事。于是，在李渊、李彻等人率军返回并州的当晚，杨广命安若溪带领着一帮仆妇、近卫包起了饺子，就在自己居住的小院内设宴为李渊、李彻等人接风洗尘。
因杨爽称病不出，随同他北伐的麾下将领如杜彦、周摇等人也自感无颜应邀赴宴，所以，前来赴宴的只有李渊和李彻并赵才等不多的几位将佐。
待酒过三巡，饺子也端了上来，李渊左顾右盼，见四下无人，才凑近杨广，低低的声音向他问道：“王爷，这安若溪怎么又回到了你的身边了呢？”
杨广这些日子满脑门的心思全都放在了如何能接应杨爽大军平安从关外归来这一件事上，根本未曾留意到李渊已发现安若溪守在自己身边，此时听李渊问起安若溪因何回到自己的身边，才猛然惊觉，忙含混其辞地敷衍他道：“原是我离京前，她奉命还了俗，这才又回到我身边来的。表兄，请再饮一杯。”
令杨广后来越想越感到不安的是，李渊也仅仅向他问了这么一句，便就此打住，不再继续追问下去了。
糟了，我方才应该声称安若溪是奉旨还俗，而不是奉命还俗。李渊是母后身边最亲近的人，难保他回长安后不会瞎搅舌头，泄露了安若溪就在并州自己身边的秘密。杨广话一说出口，就不禁后悔起来。
“表兄有所不知，我自到并州出镇以来，多亏了若溪在旁建言，才在当地招募得了一支三万人的军队，并一度收复了白道州。尤其是此次六叔大军被困于关外，若不是若溪建言我向东都的阿祗处求取援军，表兄也不会率军北上，如此顺利地解了关外之围......”杨广人虽聪明机智，毕竟年幼，城府不深，一经意识到自己说错了话，忙心虚地向李渊解释道。
李渊举着酒樽，微微一笑，淡淡地对杨广说道：“如今朝廷和突厥已然交兵，像安若溪这样的女子，我劝王爷还是趁早远远地打发了她，省得日后娘娘知道了此事，恐对王爷不利。”
“若溪于我出镇并州，保北境安宁出力颇多，且早晚有一日，我将禀明父皇、母后，正式纳她为妾，目下但请表兄回京晋见母后之时，不要在母后面前提及此事，阿纵就不胜感激了。”杨广听李渊竟劝自己趁早打发了安若溪，急得起身向李渊鞠躬行了一礼，恳求道。
前来赴宴的李彻、赵才等人因与杨广、李渊二人坐得相隔较远，又多喝了几杯，对他二人说的话并没听得很清楚，眼见得杨广起身向李渊行礼，误以为杨广有送客之意，忙纷纷起身向杨广告辞。
李渊见李彻等人要走，自己也随之站了起身，向杨广躬身回了一礼，要随众人一同告辞，被杨广一扯住了袍袖，单将他一人留了下来。
“表兄要是不肯答应下此事，我，我便不放表兄离开并州。”杨广腿伤初愈，难以久立，遂拉着李渊重新坐下，赌气似地冲他要挟道。
李渊深知皇后独孤伽罗对原是宇文般若贴身侍女的安若溪颇为记恨，此时又见杨广为了自己不向独孤伽罗禀报安若溪已跟随他来了并州，竟然说出要将自己强留在并州的话来，又觉好气，又是好笑，遂耐下心来劝杨广道：“娘娘于诸皇子中，最疼爱的就是王爷你了，我劝王爷千万不要因为一名侍女而开罪了娘娘。若是王爷真有心留下她在身边，也请王爷趁早将此事如实向娘娘禀明，免得被娘娘先察知了此事，于王爷，于安若溪本人，都没有好处。”
在裴矩不久前来并州传诏，要杨广回长安与后梁公主成亲之时，杨广原本打算，真要躲不过这桩婚事的话，他便趁返回长安的机会，当面请求父皇、母后，允准自己同时迎娶安若溪过门，正式纳其为妾，今晚被李渊这么一说，他的心思不禁随之活络了起来，天真地打起了向母后奏明此事，迎娶安若溪过门的