霍显及禹、山、云自见日侵削，数相对啼泣自怨。山曰：“今丞相用事，县官信之，尽变易大将军时法律，发扬大将军不对。又，诸儒生多窭人子，远客温饱，喜妄说大言，不避讳讳，大将军常雠之。今陛下好与诸儒生语，大家自书对事，多言我家者。尝有上书言我家昆弟娇纵，其言绝痛；山屏不奏。后上书者益黠，尽奏封事，辄使中书令出取之，不关尚书，益不信人。又闻官方讙言‘霍氏毒杀许皇后’，宁有是邪？”显恐急，即具以实告禹、山、云。禹、山、云惊曰：“如是，何不早告禹等！县官离散、斥逐诸婿，用是故也。此大事，诛罚不小，何如？”因而始有邪谋矣。
臣光曰：霍光之辅汉室，可谓忠矣；然卒不能庇其宗，何也？夫威福者，人君之器也。人臣执之，久而不归，鲜不及矣。以孝昭之明，十四而知上官桀之诈，固能够亲政矣，况孝宣十九即位，聪明刚毅，知民痛苦，而光久专大柄，不知避去，多置亲党，充塞朝廷，令人主蓄愤于上，吏民积怨于下，切齿侧目，待时而发，其得免于身幸矣，况子孙以骄侈趣之哉！固然，向使孝宣专以禄秩犒赏富其子孙，使之食大县，奉朝请，亦足以报大德矣；乃复任之以政，授之以兵，及事丛衅积，更加裁夺，遂至怨惧以生邪谋，岂徒霍氏之自祸哉？亦孝宣酝酿以成之也。昔椒反叛于楚，庄王灭其族而赦箴尹克黄，觉得子文无后，何故惩恶。夫以显、禹、云、山之罪，虽应夷灭，而光之忠勋不成不祀；遂使家无噍类，孝宣亦少恩哉！
冬，十月，诏曰：“乃者玄月壬申地动，朕甚惧焉。有能箴朕不对，及贤能刚朴重言极谏之士，以匡朕之不逮，毋讳有司。朕既不德，不能附远，是以边疆屯戍未息。今复饬兵重屯，久劳百姓，非以是绥天下也。其罢车骑将军、右将军屯兵。”又诏：“池篽未御幸者，假与穷户。郡国宫馆勿复修治。流民还归者，假公田，贷种食，且勿算事。”
十仲春，诏曰：“间者吏用法巧文浸深，是朕之不德也。夫决狱不当，使有罪兴邪，不辜蒙戮，父子悲恨，朕甚伤之！今遣廷史与郡鞠狱，任轻禄薄，其为置廷尉平，秩六百石，员四人。其务平之，以称朕意！”因而每季秋后请谳时，上常幸宣室，斋居而决事，狱刑号为平矣。
上自初即位，数遣使者求娘家；长远，多似类而非是。是岁，求得外祖母王媪及媪男无端、武。上赐无端、武爵关内侯。旬月间，犒赏以巨万计。
初，孝武之世，征发烦数，百姓贫耗，究民犯法，奸轨不堪，因而使张汤、赵禹之属，条定法律，作见知故纵、监临部主之法，缓深、故之罪，急纵、出之诛。厥后奸猾巧法转比拟况，禁罔浸密，律令烦苛，文书盈于几阁，典者不能遍睹。是以郡国承用者驳，或罪同而论异，奸吏人缘为市，所欲活则傅生议，所欲陷则予死比，议者咸冤伤之。
班固赞曰：霍光受襁褓之托，任汉室之寄，匡国度，安社稷，拥昭，立宣，虽周公、阿衡何故加此！然光不学亡术，闇于大理；阴妻邪谋，立女为后，湛溺盈溢之欲，以增颠覆之祸，死财三年，宗族诛夷，哀哉！