斛斯政是北魏太保尚书令斛斯椿的孙子，出身代北官宦世家，能够说也关陇贵族，因有才气器干而为杨素所重，大业中升任尚书省兵曹郎，并因奉称旨渐得杨广信赖，杨素之子杨玄感兄弟俱与之交友。杨广第一次征辽时，兵部尚书段文振病逝于途中，兵部侍郎员雅后也以兵败罢免。杨广因而将兵部军秘密务委交斛斯政，不久升任兵部侍郎。固然段文振死前曾多次提示杨广：“斛斯政为人险薄，不成委以秘密”。但是杨广看重他的才气，以为斛斯政不错，便委以重担。杨玄感谋反时，就与斛斯政通谋，杨玄感暗中派人到辽东，让杨玄纵、杨万硕他们找机遇逃归。兄弟二人找到斛斯政，请他帮手。斛斯政因而捏造文牒，将杨氏兄弟放走。但杨万硕在路过河北高阳县时被监事许华所执，斩于涿郡，而杨玄纵则轻装逃脱。