因而杨素持续率军由会稽走海道向泉州追击。时泉州人王国庆为南安豪族，杀刺史刘弘，据州为乱，各处流亡的叛军皆附于他。王国庆自发得海路险阻，而隋军多为北方人，不习海战，遂不设防。杨素率海军从海道掩至，王国庆大惊，弃州逃窜，其众或入海岛，或守溪洞。因而杨素分遣诸将，水、陆分进追捕。并派人密劝王国庆：“尔之罪行，计不容诛。唯有斩送聪明，能够塞责”。王国庆为了保命因而抓获投奔本身的高聪明，送交隋军，杨素将其斩首，余众全数投降。
而后，杨素屡立军功，北齐灭亡后，加上开府，改封成安县公，邑千五百户，赐以粟帛、奴婢、杂畜。北周建德六年(577年)十月，陈宣帝陈顼闻北周灭北齐，遂派名将吴明彻率军北伐。吴明彻军至北周吕梁(江苏徐州东南)，击败徐州总管梁士彦，进围彭城(今江苏徐州)。北周建德七年(578年)仲春，杨素随上大将军王轨大破陈军，俘主将吴明彻。杨素遂治东楚州事。其弟杨慎被封为义安侯。陈将樊毅筑城于泗口，杨素将其击走之，并将所筑之城全数破坏。北周宣政元年(578年)六月，周武帝归天，周宣帝继位，杨素袭父爵临贞县公，并以其弟杨约为安成公。北周大象元年(579年)，杨素随上柱国韦孝宽攻南陈淮南，率军霸占盱眙(江苏盱眙东北)、钟离(安徽凤阳东北)。
杨坚擅权时，杨素知杨坚甚得众心，且有称帝之意，遂主动投到杨坚门下，与其交好。杨坚也知杨素之才，对其也非常正视，不久便以杨素为汴州刺史。后为行军总管插手过讨伐尉迟迥，不久任大将军，领河内兵打败宇文胄军，斩宇文胄。因功迁徐州总管，进位柱国，封清河郡公，邑二千户。其弟杨岳也被封为临贞公。杨坚即位后，杨素任上柱国，并参与了隋朝法律的修定。开皇四年(584年)，拜御史大夫。因为其妻郑氏是个泼妇，杨素一次与其吵架说了一句：“我若作天子，卿定不堪为皇后”。成果被其妻告密，杨素是以开罪，并被免官。幸亏杨坚一向筹办灭亡陈朝，同一中国，杨素曾数次献伐陈之策，此次被免官后，杨素再次献伐陈之策。开皇五年(585年)十月，知杨素才气的杨坚让他担负信州总管，经略长江上游，后为行军元帅与杨广南征灭陈。杨素带领水军在长江上游打的南陈将领心惊胆战，他带领的水军气势弘大，大小战船铺满了整了江面，旗号盔甲在阳光下素净刺眼。而杨素本人端坐在平乘大船之上，面貌体格雄浑魁伟的他让南陈将领望而生畏，都说：“清河公就是长江之神啊！”平陈后因功册封越国公，以其子杨玄感为仪同，杨玄奖为清河郡公。赐物万段，粟万石，加以金宝，又赐陈后主妹及女妓十四人。后又代替去了并州的杨广任内史令成为宰相之一。
当时出身于番禺越族首级世家、原南陈王勇部将的王仲宣见江南尽乱，便联络泷州土著大酋长、罗州剌史陈佛智反隋。苍梧的陈坦、冈州的冯岑翁、梁化的邓马头、藤州的李光略、罗州的庞靖等处所酋长也纷繁呼应。王仲宣叛军权势大，来势凶悍，兵围广州城，又进兵扼守衡岭。隋将韦?渤