开皇十三年，益州的总管长史元岩在任上死了。杨秀曾经想用蛮人作寺人，又想将活着的极刑犯剖腹，取出死囚的苦胆作药。每次元岩都不平从号令，径直到蜀王宫中死力进谏，杨秀每次在认错以后，不再作如许的事，他害怕元岩的为人，做事经常常遵守法度。元岩身后没有人压抑的杨秀日渐奢糜娇纵，造浑天仪，多捕山獠充当寺人，车马衣服违背轨制兴建宫殿对比天子。皇太子杨勇被废，晋王被立，杨秀非常为杨勇忿忿不平。厥后在杨坚给杨秀整了十条大罪剥夺他的统统，并囚禁起来了。过后杨坚感慨说：“元岩若在，吾儿岂有是乎！”表示出一种绝望与无法。
西南边疆呈现战事，大将军刘哙之受命征讨。同时杨坚令上开府杨武通领兵跟进，作为后续军队。杨秀派嬖人万智光为武通行军司马，杨坚以为杨秀任非其人，怒斥之。对此杨坚谓群臣曰：“坏我法者，必在子孙乎？比方猛兽，物不能害，反为毛间虫所损食耳”。因而遂渐分化杨秀的权力。