初，东越王馀善上书，请以卒八千人从楼船击吕嘉；兵至揭扬，以海风波为解，不可，持两端，阴使南越。及汉破番禺，不至。杨仆上书愿便引兵击东越；上以士卒劳倦，不准，令诸校屯豫章、梅岭以待命。馀善闻楼船请诛之，汉兵临境，乃遂反，出兵距汉道，号将军驺力等为吞汉将军，入白沙、武林、梅岭，杀汉三校尉。是时，汉使大农张成、故山州侯齿将屯，弗敢击，却就便处，皆坐畏懦诛。馀善自称武帝。
五利将戎服治行，东入海求其师。既而不敢入海，之太山祠。上令人随验，实无所见。五利妄言见其师，其方尽多不售，坐诬罔，腰斩；胜利侯亦弃市。
楼船将军杨仆入越地，先陷寻峡，破石门，挫越锋，以数万人待伏波将军路博德至俱进，楼船居前，至番禺。南越王建德、相吕嘉城守。楼船居东南面，伏波居西北面。会暮，楼船攻败越人，放火烧城。伏波为营，遣使者招降者，赐印绶，复纵令相招。楼船力攻烧敌，驱而入伏波营中。黎旦，城中皆降。建德、嘉已夜亡入海，伏波遣人追之。校尉司马苏弘得建德，越郎都稽得嘉。戈船、下濑将军兵及驰义侯所发夜郎兵未下，南越已平矣。遂以其地为南海、苍梧、郁林、合浦、交趾、九真、日南、珠厓、儋耳九郡。师还，上益封伏波；封楼船为将梁侯，苏弘为海常侯，都稽为临蔡侯，及越降将苍梧王赵光等四人皆为侯。
夏，四月，赦天下。
元鼎五年己巳，公元前一一二年冬，十月，上祠五畤于雍，遂逾陇，西登崆峒。陇西守以行往卒，天子从官不得食，惶恐，他杀。因而上北出萧关，从数万骑猎新秦中，以勒边兵而归。新秦中或千里无亭缴，因而诛北地太守以下。上又幸甘泉，立泰一祠坛，所用祠具如雍一畤而有加焉。五帝坛环居其下四方地，为醊食群神从者及北斗云。十一月，辛巳朔，冬至，昧爽，天子始郊拜泰一，朝朝日，夕夕月则揖。其祠，列火满坛，坛旁亨炊具。有司云：“祠上有光。”又云：“昼有黄气上属天。”太史令谈、祠官宽舒等请三岁天子一郊见，诏从之。
南越王、王太后饬治行装，重赍为入朝具。其相吕嘉，年长矣，相三王，宗旅官吏为长吏者七十馀人，男尽尚王女，女尽嫁王后辈、宗室，及苍梧秦王有连，其居国中甚重，得众心愈于王。王之上书，数谏止王，王弗听；有畔心，数称病，不见汉使者。使者皆重视嘉，势未能诛。王、王太后亦恐嘉等先事发，欲介汉使者权，谋诛嘉等，乃置酒请使者，大臣皆侍坐饮。嘉弟为将，将卒居宫外。酒行，太后谓嘉曰：“南越内属，国之利也；而相君苦不便者，何也？”以激愤使者，使者猜疑相杖，遂莫敢发。嘉见耳目非是，即起而出。太后怒，欲鐆嘉以矛，王止太后。嘉遂出，介其弟兵就舍，称病，不肯见王及使者，阴与大臣谋反叛。王素偶然诛嘉，嘉知之，以故数月不发。
丙申，以御史大夫石庆为丞相，封牧丘侯。时国度多事，桑弘羊等致利，王温舒之属峻法，而儿宽等推文学，皆为九卿，更进用事。事不关决于丞相，丞相庆醇谨罢了。
上欲复使杨仆将，为其伐前劳，以书敕责之曰：“将军之功独占先破石门、寻峡，非有斩将搴旗之实也，乌足以骄人哉！前破番禺，捕降者觉得虏，掘死人觉得获，是一过也；使建德、吕嘉得以东越为援，是二过也；士卒透露连岁，将军不念其勤奋，而请乘传行塞，因用归家，怀银、黄，垂三组，夸乡里，是三过也；负约内顾，以道恶为解，是四过也；问君蜀刀价而阳不知，挟伪干君，是五过也。受诏不至兰池，明日又不对。假令将军之吏，问之不对，令之不从，其罪何如？推此心在外，江海之间可得信乎？今东越深切，将军能率众以掩过不？”仆惶恐对曰：“愿尽死赎罪！”上乃遣横海将军韩说出句章，浮海从东方往；楼船将军杨仆出武林，中尉王温舒出梅岭，以越侯为戈船、下濑将军，出若邪、白沙，以击东越。