時光飛轉，很快便進入大業三年。
年初，楊廣任命張衡為御史大夫，罷相事，算是免了相職，使其專掌御史臺。說不上是升還是降，張衡本來在宰相里面存在感就低，而這兩年，楊廣身邊的核心事務也漸漸轉到虞世基、裴蘊那里。對張衡來說，他本就為人耿直，性格直率，擔任御史大夫似乎更合適。
不過黃明遠卻是有些擔心，張衡這兩年與之前相比變化不大，但天子的性格卻發生了極大的改變。張衡還以事晉王、事太子的方式對待天子，能不得到楊廣的疏遠。
至少在黃明遠看來，張衡罷相，是楊廣要拋棄那些不喜歡阿諛的直臣的一個信號。
同月，納言楊達遷為右衛大將軍，罷相事。
楊達這位不管事的宰相總算是卸任了。他能成為宰相，更多的是因為他宗室身份，但楊廣卻并不看重宗室。
二月，楊廣命令內史令楊約到京師祭祀祖廟。楊約走到老家華陰，想到兄長新喪，因此便決定繞道前往拜哭。此事為御史知道之后，上書彈劾，楊約因此被坐罪免官。
整個大業三年初，楊廣一口氣罷了三位宰相，初登基的八相此時只剩下蘇威、牛弘、裴矩、黃明遠四人。楊廣也不增補宰相的人選，反而讓增補裴蘊為給事黃門侍郎，虞世基為內史侍郎，參與朝政。
每每有朝中政事，皆是楊廣與裴蘊、虞世基二人相商，然后交給朝臣辦理，反而把蘇威、牛弘幾個宰相排除在外。
蘇威、牛弘、裴矩三人都不是那種性格強勢的大臣，也不敢與楊廣爭權，而黃明遠更是成了第二個楊達，也不參與諸多事務。至于裴蘊、虞世基，唯諾取容，不敢忤意，因此大權皆操于楊廣一人之手。
楊廣大權獨攬，駕駛著大隋這個龐然大物在楊廣獨有的軌道上超速前進，不能停止。此時，已經沒有人能夠讓這輛超速的列車降降溫了。
三月，辛亥（初二），楊廣返回長安。
月中的時候，傳來消息，慜太子楊勇六子皆死。
黃明遠知道這個消息之后一驚，不是楊勇的兒子才被流放嶺南了嗎？怎么這么快便死了。
楊勇去世之后，留下八個兒子。其中楊裕因為之前黃明遠刺殺案早死，楊儼因為仁壽宮變而死，還有六人存世。
當初仁壽宮變，雖然楊儼是主謀，但黃明遠勸楊廣不要將其名字公布，只推給柳述、元巖二人。畢竟楊儼與楊勇牽連太深，容易給不軌之人口實。
楊廣同意了黃明遠的做法。
這楊儼便被傳在朗州養病，直到大業元年初，黃明遠平定楊諒之亂，才傳出楊儼在朗州病逝的消息。
至于楊勇諸子，楊廣開始沒想著處置他們。
前年，滕王楊綸、衛王楊集被告發怨恨詛咒皇帝，因此除名為民，流放邊郡。而楊廣又想起了他六個侄子。
對于楊廣來說，前太子留下的六個兒子就是隱患啊。誰知道這幾個人哪天被有心人利用，偷偷逃了出去，便打個旗幟造反。這種事成功不了也折騰死你，折騰不死也惡心死你。