夏，六月，以民疾疫，令太官损膳，减乐府员，省苑马，以振困乏。
恭、显令二人告望之等谋欲罢车骑将军，疏退许、史状，候望之出休日，令朋、龙上之。事下弘恭问状，望之对曰：“外戚在位多奢淫，欲以改正国度，非为邪也。”恭、显奏：“望之、堪、重生朋党相称举，数谮诉大臣，毁离亲戚，欲以专擅权势。为臣不忠，诬上不道，请谒者召致廷尉。”时上初即位，不省召致廷尉为下狱也，可其奏。后上召堪、重生，曰：“系狱。”上大惊曰：“不但廷尉问邪！”以责恭、显，皆叩首谢。上曰：“令出视事。”恭、显因使史高言：“上新即位，未以德化闻于天下，而先验徒弟。即下九卿、大夫狱，宜因决免。”因而制诏丞相、御史：“前将军望之，傅朕八年，无它罪恶。今事长远，识忘难懂，其赦望之罪，收前将军、光禄勋印绶；及堪、重生皆免为庶人。”
夏，四月，乙末晦，茂陵白鹤馆灾；赦天下。
中书令弘恭、仆射石显，自宣帝时久典枢机，明习文法；帝即位多疾，以显久典事，中人无外党，精专可托任，遂委以政，事无小大，因显白决，贵幸倾朝，百僚皆敬事显。显为人巧慧习事，能深得人主微指，内深贼，持抵赖，以诽谤人，忤恨睚眦，辄被以危法；亦与车骑将军高为表里，群情常独持故事，不从望之等。
诏赐萧望之爵关内侯，给事中，朝朔望。
长信少府贡禹上言：“诸离宫及长乐宫卫，可减其太半以宽繇役。”六月，诏曰：“朕惟焌庶之温饱，阔别父母老婆，劳于非业之作，卫于不居之宫，恐非以是佐阴阳之道也。其罢甘泉、建章宫卫，令就农。百宫各省费。条奏，毋有所讳。”
初元四年丙子，公元前四五年春，正月，上行幸甘泉，效泰畤。三月，行幸河东，祠后土；赦汾阴徒。
夏，旱。
三月，立广陵厉王子霸为王。
是岁，弘恭病死，石显为中书令。
立长沙炀王弟宗为王。
初元三年乙亥，公元前四六年春，诏曰：“珠厓虏杀吏民，背畔为逆。今廷议者或言可击，或言可守，或欲弃之，其指各殊。朕日夜惟思议者之言，羞威不可，则欲诛之；猜疑辟难，则守屯田；通于时变，则忧万民。夫万民之饥饿与远蛮之不讨，危孰大焉？且宗庙之祭，凶年不备，况乎辟不嫌之辱哉！今关东大困，堆栈空虚，无以相赡，又以动兵，非特劳民，凶年随之。其罢珠崖郡，民有慕义欲内属，便处之；不欲，勿强。”
三月，丙午，立皇后王氏，封后父禁为阳平候。
上复征周堪、刘重生，欲觉得谏大夫；弘恭、石显白，皆觉得中郎。
仲春，丁巳，立弟竟为清河王。
是岁，初置戊己校尉，使屯田车师故地。
关东饥，齐地人相食。
上用诸儒贡禹等之言，诏太官毋日杀，所具各减半；乘舆秣马，无乏闲事罢了。罢角抵、上林宫馆希御幸者、齐三服官、北假田官、盐铁官、常平仓。博士弟子毋置员，以广学者。令民有能通一经者。皆复。省科罚七十馀事。
陈万年卒。六月，辛酉，长信少府贡禹为御史大夫。禹前后言得失书数十上，上嘉其质直，多采取之。