楊廣如此的不恤民力，也不是沒有人看到其中的危害，但朝中重臣都出于各種各樣的目的，并沒有人及時地勸諫楊廣。
實際上大家對這種大規模的建設工程都已經無視了，甚至也沒有人想到體恤民力這個事情。當初修建仁壽宮的時候，督工極為嚴酷，役夫疲頓顛仆死亡萬人以上，役夫死者相次于道，而天子卻賜楊素錢百萬，錦絹三千段。有楊素這樣鮮活的例子在，誰還在乎那些卑賤的草芥，早就想著借此機會討好天子，升官發財了。
這一次東都洛陽城的建設若非是黃明遠督工，又有誰會在乎這些如雜草的役夫。當然大環境如下，個人的所作所為很多時候都是杯水車薪。
當然也不是沒有人勸諫楊廣，但大多都是一些懷著各種各樣心思的關東士子。
楊廣在河南地區大興勞役，將大量的人力物力集中到自己的手中，同時通過修渠等事加強了對關東地區的控制，一定程度上損害了這些關東世家的利益。這些世家不敢光明正大的和楊廣敵對，卻都有各種代言人為其搖旗吶喊。
楊廣本就是要向關東中下層勢力下手，使得大隋的統治能夠深入地方，因此對于這些關東士子的勸諫，更是毫不在意。
即使有真正為國為民心憂的士子，不過是人微言輕，甚至都到不了楊廣的耳中。
如此這般，楊廣也便忽略了各處工地役夫的生存環境。當然以楊廣的性格，哪怕他就是知道這些事情，也不會在乎的。
無論是楊廣還是關東世家、關隴貴族，都把此事當做一種權利的斗爭，所有人不過是供斗爭消耗的棋子而已，本身并無實際價值。
黃明遠看在眼里，心中是著實地擔憂。
雖然楊廣做的很多事都是利國利民的大好事，但修建東都得罪了關隴世家，開通運河又得罪了關東世家。至于其他一些做法，過于偏激，過于求快求全，激化了原有的社會矛盾，使得大隋好像如油烹一般炙熱。
各地的工程越來越大，役夫死亡也越來越多，眼瞅著楊廣沒有一點放慢腳步的意思，黃明遠有些坐不住了。實際上現在的大隋遠稱不上海晏河清，國泰民安。
對外，有林邑王梵志作亂；對內有河北各地楊諒余部叛亂。
因為裴矩放任樊子蓋和封德彝二人在河北等地的暴行，等到黃明遠離開并州之后，朝廷對整個河北的清洗簡直令人瞠目結舌的地步。很多州縣一個衙門一個衙門的清洗，各地因此被屠戮的官吏、豪紳不計其數。
整個大河以北，各自自顧不暇，人人談朝廷而色變。
朝廷對河北各地的清洗也激起了楊諒舊部的反抗。楊諒舊將劉建、侯莫陳惠和原澤州刺史張伯英在韓州殺死朝廷官員，豎起反旗，割據自保；原介州刺史梁修羅在隰城（治在今山西省柳林縣西）殺死縣令，自稱晉王造反；原楊諒大將綦良也在林慮（治在今河南省林州市）打著相州薛胄的名義叛亂。
大河以北，處處烽火，朝廷不得不以左衛大將軍宇文述和右領左右大將軍來護兒、右領軍大將軍于仲文、左領軍大將軍崔彭等人分路平叛。又赦免了一批被關押的漢王余黨以安撫河北人心，這才勉強壓制住河北士庶躁動的人心。