在公元前123年，他随大将军卫青出征。北击匈奴时，他带领八百精锐马队分开雄师队几百里去追击匈奴，最后歼敌2028人，此中有相国和单于的祖父，活捉单于叔叔，战后封为冠军侯。公元前121年春，霍去病被任命为骠骑将军，带领精骑一万人，向河西地区进发。在这场战役中，汉军大获全胜，斩杀匈奴楼兰王、卢侯王，活捉了匈奴浑邪王的儿子及相国、都尉等高官，歼敌8900余人，并且缉获了匈奴休屠王的祭天金神像。战后，汉武帝命令增封霍去病食邑2000户。公元前121年夏的第二次河西战役中，霍去病孤军深切，以他变幻莫测的战术大败匈奴军。此次战役中，匈奴单桓王、酋涂王及相国、都尉等2500人投降，王母、单于阏氏、王子、相国、将军、当户、都尉等120多人被俘虏，匈奴兵30200人被汉军毁灭。霍去病的名誉日趋显赫，职位也日趋高贵。
公元前121年，在西汉与匈奴的战役中，汉对河西(今河西走廊及湟水流域)地区匈奴停止了两次纵深突袭作战。
同年夏，为进一步毁灭匈奴有生力量，完整节制河西走廊，汉武帝令霍去病与合骑侯公孙敖率精骑数万，由北地(郡治马岭，今甘肃庆阳西北)解缆，分两路打击河西匈奴。霍去病率部渡黄河，经戈壁南缘，迂回至居延泽(今内蒙古额济纳旗北)，西太小月氏(今甘肃敦煌市南湖镇阳关遗址西南)，转向东南，攻至祁连山(今甘肃肃南裕固族自治县西北)，大败酋涂王，降俘6500人，斩首3万余。汉军亦伤亡非常之三。另路公孙敖部因丢失方向未能插手作战。
二年春，汉以霍去病为骠骑将军，率精骑万人，由陇西(郡治狄道，今甘肃临洮)解缆，涉狐奴水(今甘肃石羊河)，历五国，转战六天，过焉支山(今甘肃山丹东南之大黄山)，向西北挺进千余里。大败休屠王、浑邪王部，杀折兰王、卢胡王，俘浑邪王子及相国、都尉，斩获8900余人，汉军丧失非常之七。
霍去病作战时身先士卒，喜好做前锋。公元前117年，霍去病因病而死，年仅23岁。因为他当时还不到三十岁，武帝哀思非常，武帝给他修的陵墓形状很像祁连山，还追封为景桓侯，在墓前直立了一尊“马踏匈奴”的石像，意味着他为国度立下的不朽功劳。
战后，伊樨斜单于怒浑邪王、休屠王惨败，欲召至单于庭诛之。二王恐，乃向汉求降。休屠王悔，浑邪王遂杀休屠王，并其众，共4万余人降汉。西汉将降众分置陇西、北地、上郡(郡治肤施，今陕西榆林市南鱼河堡)、朔方(郡治朔方城，今内蒙古杭锦旗北)，云中(郡治云中，今内蒙古托克托东北)五郡塞外，称五属国。而后，陇西、北地和河西地区少有匈奴攻略，遂减守兵之半。
汉武帝刘彻对匈奴建议计谋反击后，前后获得了河南、漠南之战的胜利。匈奴单于和右贤王远遁大漠以北，河西仅存休屠王、浑邪王等部，势孤力单。汉武帝抓住无益机会，建议河西之战。此役分为春、夏两次作战。
霍去病是大将军卫青的外甥，母亲卫少儿是汉武帝皇后卫子夫的姐姐。因为有皇族干系，霍去病在18岁时就很得天子宠任，入宫做了侍中。