李休宴请长孙无忌，直接把牌给摊开了，劝说他从朝堂上退下来，不然今后只会给长孙氏满门引来大祸，只不太长孙无忌却还是下不定决计，毕竟他现在位高权重，光靠李休的几句话就让他放弃现在的权势也不太能够。
半个月后，长孙无忌上书去官，李治再三挽留，但长孙无忌去意已决，最后李治只能无法同意，而跟着长孙无忌退出朝堂，李世民期间遗留下的影响也终究完整退去。
听到李休都把话说到这份上了，长孙无忌的神采也不太都雅，不过李休却没理睬他，反而自顾自的再次说道：“提及来我也有些对不起先皇，自从他归天后，我并没有像他但愿的那样进入朝堂，而长孙兄你在朝堂一家独大，这才引发了陛下的猜忌，以是算来算去，最后还是算到我头上，既然如此，那我也就寒舍将来十年的时候，再次进入朝堂，以便让陛下能够均衡朝堂上的权势！”
“我也是怕了你了，毕竟你我都这么大年纪了，如果再因为这些事而在朝堂上斗的头破血流，恐怕会被后代子孙嘲笑！”长孙无忌这时也开口笑道，这时他脸上的神情也轻松了很多，他也是个非常果断的人，只要做出了决定，就不会再是以而悔怨。
“不是我有甚么意义，而是先皇归天时指定你我二人帮手陛下，首要就是因为你我二人身份特别，说句自夸的话，只要有我们两人在，谁也别想摆荡陛下的皇位，不过除此以外，陛下另有别的一重意义，那就是让你我二人互人管束，免得有人生出异心，从而威胁到陛下，这点长孙兄你不会看不出来吧？”看到长孙无忌不接本身的话，李休干脆把话给挑了然道。
“罢了罢了！”长孙无忌坐在那边纠结半晌，最后终究身子委顿的点头道，“看模样你是铁了心的要让我退出朝堂，乃至不吝我和撕破脸皮，既然如此，那我就遂了你的心愿，归正我的年纪也不小了，为了最后几年的风景而落空你这个朋友，的确是有些不值得！”
提及来李休固然多年不问政事，但在朝堂上的名誉却日渐增加，特别是他这些年在书院传授本身的新学，朝堂上很多年青官员都曾经听过他的课，算是他的半个门生。
“长孙兄，言尽于此，如果你还是舍不下的话，那我也只要最后一个别例了！”李休看着长孙无忌踌躇不决的神采，最后再次叹了口气道。