實際上除了黃明遠，也沒多少人關系一個已經死了五六年的前太子的兒子的情況。五六年的時間足以讓天下大多數人忘了楊勇。
很快，所有人的注意力都轉向了另一件事，官制改革。
四月初，楊廣下了一份新詔令，百官不能按正常的考核制度升級，必須有德行，并有顯著功勞、能力的人才得以提升。
此令一出，百官嘩然。本來當官有幾個不為升官，而正常的考核制度升級，保障了大部分普通官員的利益，他們可能沒有太多的關系疏通門路，也無法直達天庭，也就是靠著一步一步的考核升級，才得以升職。而現在還要考教德行，還要有顯著功勞、能力，這不是活活堵死了他們上進的路嗎？
這年頭有本事刷德行、功勞的還會在下面郡縣當官。
黃明遠很想看看楊廣的腦回路，作為一個到達權利頂峰的天子，真的一定要一步一步把自己玩死嗎？官員不按正常的考核制度升級，不是給了官員上下其手的機會。能夠得到提拔的，不是那些能力未必強但關系一定硬的人嗎？這樣的制度，損害最大的不是天子的權利嗎？
而楊廣卻似乎看不出來。
楊廣實在太吝惜名位，群臣中有應當升官進爵的，多讓其兼職暫代而已。雖然有的職務有空缺，卻空著不補上。
四月上旬，楊廣下令設置選曹大臣。
楊廣終于向吏部下手。
原本牛弘擔任吏部尚書，掌管著官員資料以及人事任免權，可以任免四品及以下官員，但此時的牛弘根本不能專行其職。
這一次楊廣任命納言蘇威、兵部尚書左武衛大將軍黃明遠、左翊衛大將軍宇文述、給事黃門侍郎裴矩、左衛將軍張瑾、內史侍郎虞世基參予掌握選擇官吏之事，他們六人和牛弘被合稱為“選曹七貴”
七人之中，蘇威、牛弘、黃明遠、裴矩皆是宰相，宇文述、虞世基是天子心腹，武將之首，至于張瑾則是楊廣扔給關隴世家一個打醬油的，以堵住他們的嘴。
張瑾為人性格懦弱，膽子也不大。他是宇文述的下屬，曾經在軍中說了一些話，宇文述覺得不中意，竟然直接瞪著大眼斥責張瑾。張瑾也是無能，竟然嚇得惶懼而走，因此為眾人所譏笑。
七人之中，根本沒人拿官小位卑的張瑾當回事，他也沒有話語權。
雖然這七個人同時在坐，當楊廣又借著虞世基插手其中。因而官吏升遷任免的實權，實際由虞世基借著楊廣的權利獨霸。而虞世基本人也是一個貪官，收受賄賂，行賄多的人就超越等級和不按一般常理去提拔，不行賄的人就只能原地踏步而已。
當然，一切還不僅如此。
大業三年（607）四月，壬辰（十四日）。
楊廣下令：
增置殿內省，與尚書省、門下省、內史省、秘書省為五省；增謁者、司隸臺，與御史臺為三臺；分太府寺置少府監，與長秋、國子、將作、都水為五監。
將十二府衛改為十二衛四府。其中改左、右衛為左、右翊衛；左、右備身府為左、右驍衛；左、右武衛仍為舊名；改左、右領軍府為左、右屯衛；加置左、右御衛；改左、右武侯府為左、右侯衛；改左、右領左右府為左、右備身府；左、右監門府仍為舊名。其中宇文述仍領左翊衛；楊達領右翊衛；黃明遠領左武衛；李景領右武衛；獨孤覽領左驍衛；來護兒領右驍衛；郭衍領左侯衛；衛玄領右侯衛；張定和領左屯衛；于仲文領右屯衛；而新設置的左、右御衛，并未設置大將軍。
減并州縣，改州為郡，以郡統縣，恢復秦制，實行郡縣二級制。同時，在郡上設置司隸、刺史十五員，司監察之職。