过了些日子，小皇子回宫。这孩子更加长得俊美了，竟不似尘凡间人，皇上天然更是垂怜有加。来年春季，册立太子，皇上心中极欲立小皇子为太子，但苦其无显赫的外戚作后盾；而废长立幼，又为世人所忌，恐反而对小皇子倒霉。遂撤销了这动机，只好不露声色，仍立了大皇子为太子。因而世人便有批评：“对小皇子钟爱如此，终究不立为太子，看来万事毕竟是有分寸啊泛博皇子母亲弘徽殿女御至此也感觉欣喜了。
这换衣太君自女儿身后，一向哀痛烦闷，无以自慰。她整天祷告佛主，愿早八天国，与女儿相聚。不久，果蒙佛力引渡去了西天。皇上为此又非常哀痛。时细姨子年方六岁，已晓得一些情面，哭悼外祖母，真是位借尽哀。祖孙相依多年，亲情难分。垂死之际，口中念念有词，几次念及这小外孙，确是悲戚不已。小皇子自此今后也就长留宫中了。
命妇将太君所赠礼品呈皇上御览。皇上看了，心想道：“这如果是临邓羽士探得了亡人居处而带回的钢合金锭，那有多好……”但如此胡想，也是无用。遂吟诗道：
伴着小皇子来的众位年青侍女，大家哀痛，自不待言。她们看惯宫中繁华风景，感喟此地式微苦楚。她们念及皇上哀思的景象，甚为怜悯，便劝说太君，将小皇子早日送人宫去。这太君以为本身乃犯警之身，此时偕小皇子入宫，定会生出非议；而本身若不见小皇子，即便时候长久，也觉心头不安。小皇子入宫一事，是以搁置。
“秋虫即使伴人泣，长宵已尽泪仍滴。”吟罢，尚待登车，只听那太君答诗，命侍女传道：
不时驰念。不能与太君共同扶养，实是憾事。今请偕此予入
“宫墙月暗泪眼昏，造传荒邱有无明？”皇上想起桐壶换衣娘家的情状，挑灯凝神，全无睡意。忽听得巡夜的右近卫官唱名，方知此时已是丑时。是上恐闲坐太久，惹人重视，只得进内寝息，还是展转难寐。次日起床，又回想畴前“珠帘锦帐不觉晓”的景象，不免又是触景伤情，朝政也懒得理了。早膳勉强举筷，也只是应名罢了；正式御餐，早已废除了。是以侍膳的人，见此景象，个个忧愁感喟。近身持臣，不管男女，大家焦急，均叹道：“这实在是毫无体例的了！是上和这桐壶换衣，定有宿世宿缘。换衣活着之时，皇上一味恩宠，也全然不顾世人的挖苦痛恨。及至身后，又日日愁叹，凡与这换衣有关之事，都一味佝情，乃至疏懒朝政。真是不成思议啊！”并引唐玄宗等本国朝廷的例子来低声群情，暗自感喟。
此时已是夜深，命妇说道：“太君所言极是，皇上也是如此想的。他说：‘我虽至心真意爱她，也不该如此过火，乃至惊人耳目，使这番恩爱不能悠长。现在想来，我俩的盟誓，倒是一段恶缘！我自傲一贯未曾作过招人痛恨之事。只为了此人，竟把得很多无端痛恨，现在又落得形单影孤，反倒成了个笑柄。这也是宿世作孽吧！’他不时申述，眼泪始终未干。”絮干脆叨，难以尽述。