当年袁氏走投无路，投奔许钊，许钊识豪杰，惜豪杰，借兵借地予袁氏，助袁氏一统天下，功劳无人能比，是以有太祖天子赐不传而入之权，可随便出入宫廷。许钊到得书房，天子还是在，命人将许钊搀入赐座。许钊固然老态龙钟，但神态尚清，不肯归坐，只跪下请罪道：“三子愚顽莽撞还请陛下恕其不敬之罪。”
太子连连点头道：“胡说，胡说。他就在这里，就在东宫。我每日每夜都能见到他，每日每夜都能闻声他的声音。”说着俄然手指天子身侧道，“瞧瞧，他跑很多快。去找他皇爷爷了。”又过来扯天子衣袍。
翌日天子升朝，以太子不孝不悌之罪，命令废太子贬为常郊王，又借太祖天子大行二十周年祭，令本日起入皇陵为太祖天子守陵，无令不得回朝。
袁琚闻言，如有所思，半晌回神，叮咛袁珝道：“你我一样并无显赫的娘家依托，许李两家又争斗不休。太子颓废，光王志在必得，你且万事要谨慎留意。”
天子满目悲戚，拂面叹道：“此子不成救也。”乃一扯衣袖，谓之道：“你若公然不想当这太子，便如你意。”言罢拂袖而去。行到大殿门口，忽闻声太子歌声传来，唱道：“薤上露，何易晞。露晞明朝更复落，人死一去何时归。”清寒月色中，声音听来甚为凄楚。
天子恨铁不成钢，怒极反笑道：“废了你？你说得如此轻松。你觉得每一名废太子都能如廖王普通？廖王有建国功劳和太后作保，你又有甚么傍身？古往今来如此多的废太子，他们是何了局你清清楚楚。”
袁珝闻言，一时神驰，欣喜道：“三哥如此说，等清户令结束，我定带着阿雨前去。”
太子嬉笑道：“是何了局？是何了局？人生不过百年，谁都难逃一死。”言及“死”字，不免又想起本身早夭的儿子，不由哭道，“人都要死的，我的程儿也死了。程儿，程儿，你在那里？”
更漏声声，殿内秉烛，殿外暮合，许钊才从殿内出来。中秋刚过，暑气未消，三子俱已力不能支，东倒西歪，许钊心中感慨无穷，谓三子道：“古往今来帝王皆不喜受制于人，尔等跪谏形同逼宫。我许家恩宠已极，切不成恃宠而骄，还不快快退去。”
袁琚听他直呼王妃闺名，又听京中人言他伉俪二人之事，听来甚睦，因而笑道：“你这小子因祸得福了。如果如太子、光王普通得宠，父皇怎会让你娶个布衣女子？”说到这里又转了语气，面露忧色道，“话说返来。京中权贵大多为许李两家姻亲，长此以往，许李两家声望赛过皇权，相互排挤、祸乱朝纲。”
他出京之时，袁珝相送。兄弟别离，不知何日相见，分外感概。袁珝因其遭责，不能相帮，万分自责道：“三哥，只怪小弟无能，未说得上话帮你。”袁琚道：“我本不喜都城，能平生待在郎陈最好。”见袁珝仍然面有愁苦之色，又道，“五弟，你有所不知，郎陈虽为边地，不似都城民富物盛，但人物风景不输都城。且这些年我在郎陈也算兢兢业业，百姓安居乐业，又与乌乾国边民互通友爱，也算得一方乐土。有机遇你亲身去瞧一瞧就晓得了。”
自入宫去见天子，天子表情甚烦，又不喜他，加上袁琚朴直不阿，言语之间稍见顶撞，天子马上大怒。他又无娘家倚仗，京中亦无报酬他言说。被天子一番斥责后，敕命出京，无奉召不得入京。