派杨素考察太子的行为。杨素不断毁谤杨勇，使得杨坚越来越猜忌杨勇，而把东宫侍卫都换成了老弱兵卒，凡是健壮的侍卫都调到了皇宫这边来服务。
杨勇发觉不妙，听说有个名叫王辅贤的术士能占卜吉凶，就召来请教。结果，王辅贤论断道：“有白虹贯穿东宫前门，又有太白星偷袭月亮，都是显示皇太子将会退废的天象。”他建议用铜铁制造傀儡兵卒，又在后院之内加盖一个简陋的庶人村，让太子常常睡在其中，使用布衣草褥，藉以消灾挡祸。
心思单纯的杨勇意料不到，这一切努力都是徒劳，因为杨广已经买通了他身边的侍臣姬威。任何外人的谗言，都比不上家仆的告发那样令人不得不信。
姬威贪图富贵，不惜出卖主子。他在皇帝问话时，依照事先拟好的谎言说道：“太子爷平常闲聊，说过以前汉武帝要兴筑上林苑，被东方朔谏阻，还赐东方朔黄金百斤，未免有些可笑，并说他才没有黄金赐给这种人。倘若有人进谏，正好斩杀，只要杀一百多人，谏言自然永远停止了。太子爷还说，仆射以下的，他会杀戮一两人，使大臣都知道轻慢他会招致杀身之祸。”
既然杨坚一向嫌杨勇奢侈，对这番话难免