余力，只是料想不到，杨广越做越大，不但稳住了江南，也结交了山东士族。
杨坚需要新兴的山东士族来帮他压制关陇贵族，以提高皇权。于是，起初只是用来牵制杨勇的杨广，逐渐变成了杨坚最倚重的儿子。当杨广在朝野所获的支持超越了杨勇，杨坚即使并不想换太子，也必须加以考虑，更何况，他对杨勇已有不满。除了冬至越礼事件令杨坚耿耿于怀以外，崇尚节俭的杨坚也经常为了杨勇喜爱奢华物品而不悦。
有一天，杨勇穿上了一件新铠甲，不但是来自蜀地的上好质料所缝制，而且刻缕着精美的花纹。杨坚看了，唯恐杨勇越来越奢侈浪费，就把杨勇教训了一顿，甚至夸大其辞说道：“你身为储君，若不上称天心，下不合人意，何以承宗庙之重，居兆民之上？”
相对而言，杨广了解父皇主张节约，在父皇面前，绝对穿着最朴素的衣服。每当父皇、母后驾临杨广的晋王府，杨广也必定在事前做好准备，给父皇、母后看到的都是廉价布料制成的屏风、帐幕，还有断了弦也不修的乐器。
此外，杨广也懂得拉拢父皇信任的朝臣，尤其是越国公杨素。杨广透过亲家翁宇文述与杨素之弟杨约的交情，赢得了杨素的支持。
杨坚不知杨素与杨广有私交，指