独骠骑大将军杜茂，尚留守北方，备御匈奴。光武帝不欲劳兵，特使吴汉等北往，督徙边民，尽入本地，但谕茂缮治城障，阻住胡烽。茂令兵士屯田筑堡，毋敢少疏。会因军吏冤杀无辜，遂致连带免官，节减食邑，由修侯降为参蘧乡侯，另命蜀郡太守张堪为骑都尉，使他往领茂营。匈奴闻茂离职，趁机打击，兵至高柳，被张堪督兵邀击，大破胡兵，飞章得胜。光武帝因令茂为渔阳太守，兼辖军民。茂赏善罚恶，公道忘我，吏士并乐为用。匈奴以高柳被挫，再图抨击，竟发万骑入渔阳。才出境内，即稀有千健卒，当头截住，仿佛与长城类似，涓滴不能摆荡。再加张堪领着后队，鸣鼓继进，锐厉无前，把胡骑冲得七零八落。匈奴将帅，赶紧奔还，十成中已丧失了四五成，今后畏堪如神，不敢近塞。堪乃劝民耕稼，特就狐奴处所，开稻田八千余顷，不到数年，桑麻菽麦，偏地芃芃。百姓主动作歌道：“桑无附枝，麦穗两歧；张公为政，乐不成支！”总计堪守郡八载，户口蕃庶，物阜民康。光武帝欲征堪内用，堪竟病逝，有诏表扬政绩，赐帛百匹。堪字君游，系南阳郡宛县人，少时已有志操，号为圣童，入蜀时不私秋毫，布被毕生。复兴循吏，杜诗以外，要算张堪。歌颂循吏，借以风世。
宫闱以内，若见鹰鹯，既无关睢之德，而有吕霍之风，岂可托以幼孤，恭承明祀？今遣大司徒戴涉，时涉尚未坐罪。宗正刘吉，持节往谕，其上皇后玺绶。阴朱紫乡里良家，归自寒微，自我不见，于今三年。两句援引《诗经》，为追思之词。宜奉宗庙为天下母。非常之事，非国休福，不得上寿称庆，特颁诏以闻。
沛郡太守韩歆，亦朴直有声，建武十三年间，大司徒侯霸病逝，特擢歆为大司徒。歆就任后，每好直言，尝在帝前指天画地，很多忌讳。光武帝未免起火，歆仍很多改，在任二年，坐被谴归。未几又颁诏申责，歆愤激他杀，子婴亦死。都人士替他呼冤，为帝所闻，乃追赐钱谷，具礼安葬。遇主如光武，且以直言贾祸，遑问别人。厥后欧阳歙戴涉，接踵为大司徒，俱坐罪论死，光武帝亦稍稍严急了。最弊端的是废后一事，为光武帝平生大累。事在建武十七年间。光武帝既立郭氏为皇后，嫡子强为皇太子，相安丰年，见十二回。郭后复活子四人，一名辅，一名康，一名延，一名焉。阴朱紫亦生五子，长名阳，次名苍，次名荆，又次名衡，名京。另有一子名英，为许美人所出。许美人无宠，当夕甚稀，故只生一男。就中总算这位阴朱紫，最得宠嬖，光武帝偶然出征，尝命阴朱紫随行。阴朱紫初度生男，曾在元氏县中临蓐，彼时从征彭宠，恰当有娠，故在行辕中产儿，取名为阳，两颊甚丰，至十岁时能通《春秋》，光武帝目为奇童。夺嫡之兆，已寓于此。建武十五年，大司马吴汉等，上书请封皇子，三奏乃许。使大司空窦融告庙，封皇子辅为右翊公，英为楚公，阳为东海公，康为济南公，苍为东平公，延为淮阳公，荆为山阳公，衡为临淮公，焉为左翊公，京为琅琊公。这是因年序封，故与上文叙次分歧。诸子受封，才及月余，有诏令天下州郡，检点垦佃户口。刺史太守，依诏实施，次第奏报。独陈留吏牍中夹入一纸，上书二语云：“颍川弘农可问，河南南阳不成问。”光武帝瞧着，问所向来，吏人谓由长命街上拾取，误夹牍中。这是因光武好谶引惹出来。光武帝因疑生怒，顿有愠色。东海公阳，年才十二，适侍帝后，便乘间进言道：“河南帝城，必多近臣，南阳帝乡，必多远亲；田宅逾制，不便细问，故有是言！”光武帝大悟，再使虎贲将穷诘吏人，吏人无从埋没，所对如东海公语。光武乃更遣谒者巡行河南南阳，纠察长吏，实地钩考，免得秉公。但自此爱阳有加，自悔立储太早，不得使阳为冢嗣。天下事不宜生心，一有芥蒂，免不得形诸词色。郭皇后暗中窥透，当然怀嫌，是以对着帝前，常常冷嘲热讽，语带蹊跷。光武帝积不能容，遂致伉俪反目，动有违言。到了十七年冬月，竟俄然下诏道：