隋文帝晚年的“太子废立”和“蜀王被废”事件，虽然幕后的总策划是杨广，但现场操盘手杨素无疑在其中发挥了至关重要的作用。此时的杨素官居尚书左仆射，本来就是隋帝国一人之下、万人之上的人物，如今又接连废掉了一个太子和一个亲王，其权势和威望更是达到了人臣的极点。
史称，经过这场前所未有的政治变局，杨素家族已经毋庸置疑地成为隋朝家族排行榜上的Top.1。除了权势熏天的杨素本人之外，他的弟弟杨约、叔父杨文思、杨文纪，族叔杨忌等人，“并为尚书、列卿”；杨素的那些儿子如杨玄感、杨玄纵等人，对帝国“无汗马之劳”，也一个个“位至柱国、刺史”。
自古以来，权力与金钱就是一对孪生兄弟。有了权，钱自然就跟着来了。杨素家族的资产，在当时无人可以匹敌：从京师到全国各大城市，到处都有他们的酒店、客栈、商埠、磨坊、田园、豪宅；杨素府上的仆从佣人，多达数千，姬妾也是数以千计；宰相府的建筑规模异常庞大，设施装潢也极尽奢华，其整体规格几乎可与皇宫媲美。
杨素家的亲戚朋友，一个个位居显要，胆敢得罪他们的，都会遭到贬谪诛杀，而只要你能找关系攀上杨家人，就算什么本事都没有，也照样得到提拔。满朝文武见了杨素，无不腰弯腿软、靡然景从。当时，举国上下，敢跟杨素叫板的，只有御史柳彧、尚书右丞李纲、大理卿梁毗等寥寥数人。
