閑扯了半天，黃明遠終于和裴矩聊起了今日的正題，關于大河以北事務的處置。尤其是最近這一段時間的大河以北的情況。
黃明遠這個全權處置漢王叛亂后續諸事大臣雖然一直在做甩手掌柜，但晉陽城內一舉一動的變化，黃明遠都無比清楚。因此聊起這些事情，黃明遠都能很詳細的跟裴矩說個清楚。
不過說起樊子蓋和封德彝二人做的事情，裴矩皺起了眉頭。
事實上樊子蓋和封德彝的做法才符合楊廣的意圖，天子知道二人的情況之后，還私底下贊揚了二人的盡忠職守，為君分憂。裴矩以為黃明遠不應該如此倉促地罷黜了封德彝，而是要任其搞風搞雨，將這些漢王余黨全部處置了。
裴矩以為黃明遠在晉陽對待漢王余黨的態度有些寬松了，雖然迅速穩定了晉陽的局勢，但畢竟不太符合楊廣的意圖。
黃明遠聽完滿是吃驚，樊子蓋和封德彝在整個河東殺了上萬人之多，其余牽連之人，更是無算。如此這般，楊廣還不滿意，難道真的以為河東的世家大族都是待宰的羔羊嗎？至少在黃明遠看來，現在的清洗程度剛剛好，既沒有放過叛黨核心，也不會引發大的騷亂。
但裴矩也帶來了楊廣的意思，希望黃明遠能夠除惡務盡。裴矩甚至直言，黃明遠目前最好的辦法還是要用封德彝對付這些叛黨，省得惡了天子。
聽到裴矩的話，黃明遠也有些沉默。
自己好人已經做了，哪能回頭，黃明遠可不想面對處處烽煙的河北之地。
想到這里黃明遠突然意識到，自己其實在晉陽已經把能做的都做了，善果已經種下，威望也達到了頂峰。黃明遠又不想做并州總管，更不想在此割據，若是再繼續留在晉陽城，除了使自己原本頂峰的威望下降以外，自己又能做些什么。
黃明遠決定離開晉陽。
有了這個想法，黃明遠越想越覺得應該如此，便當即向裴矩說了此事，向天子請求回京。
裴矩聞言，也覺得黃明遠這個想法不錯。
畢竟黃明遠不比旁人，拿捏尺度很麻煩。裴矩這種文官處置漢王舊部，若是寬松了便是仁政，若是嚴苛了便是執法嚴明。換了黃明遠，處置寬松了便是收買人心，而嚴苛了就成了嗜殺成性，為人暴虐。
現在有裴矩在并州代替他，黃明遠便可乘機脫離晉陽這個大陷坑。
至于如何處置漢王舊部，裴矩倒是打定主意將此事交給樊子蓋和封德彝。尤其是封德彝，著實出彩，是條好狗，咬起人來，倒是不會讓人失望。
黃明遠看出裴矩的想法，便建議使樊子蓋總攬此事，而由封德彝佐之。封德彝人品實在太差，為達目的，不擇手段；而樊子蓋雖然也是一個酷吏，但卻清正廉潔，為人正直，為了避免出現大規模的冤案產生動亂，還是需要樊子蓋鎮著封德彝。
裴矩倒是同意。
翁婿二人直談到半夜三更才分開，回去之后，黃明遠也沒有功夫睡覺，便招來陳遠何黃明襄商議此事，又急趕著寫了一封請求回京的奏疏，讓人連夜送往長安。