對于役夫的事情，楊廣總算讓了一些步，黃明遠也不敢逼迫太甚。至于延期之事，更不要提了。
因此為了防止下面的官吏陽奉陰違，黃明遠乃常于各處工地巡視，總算震懾住不少的官吏，勉強使得役夫的生存、生活條件得到了改善。
六月初，嶺南傳來消息，攻打林邑的驩州道（又稱日南郡，即今越南北部）行軍總管河陰縣公劉方卒于軍中，原本剛被楊廣下令在林邑故地設置的蕩州、農州、沖州三州十二縣再次全部淪陷。
而此時朝廷對于三州的官員還沒有完成任命呢。
林邑，即今越南中部。延袤數千里，有城郭、宮室，隋時已有文字，信佛教，人民主要從事農業生產。林邑之地乃是西漢設立的日南郡象林縣，東漢末年，本地有名為區連者，殺害縣令，自稱林邑國王，從此象林縣從漢朝的統治下獨立出來。
林邑雖然去中原萬里，但實際上與中國聯系密切。東晉幾次進攻林邑，都沒有成功。而南宋后來攻滅林邑，但因為南北朝混亂，還是讓林邑復國。
到了文帝末年，群臣有人言林邑多奇寶，文帝圖掠珍寶，乃授劉方為驩州道行軍總管，籌劃處理林邑方向的事務，以尚書右丞李綱為司馬，帶兵進攻林邑。
此時劉方正擔任為交州道行軍總管，剛剛平定了交趾（治宋平，今越南河內）李佛子叛亂，俘獲俚人（古族名，主要分布在廣東西南沿海及廣西東南等地）首領李佛子。
也不知道楊堅是怎么對林邑動了心思，不過正巧大隋剛北伐成功，天下無事，而劉方所部的南征主力正好位于交州還未返回，所以楊堅要趁機摟草打兔子，平了林邑這個隱患。
但實際上林邑國雖然狹小，但國人人性兇悍，果于戰斗，便山習水，不閑平地，至于居止，或東西無定。相對中原來說，多為野人，并不是那么容易平定的。
而且嶺南之地氣候潮濕悶熱，多瘴氣，環境惡劣，北方士兵不耐當地氣候。
東晉時期，幾次兵敗便是明證。
楊堅如此一拍腦袋，既沒有長久的規劃，也沒有攻占林邑之后長久的布置，完全如土匪劫掠一樣腦袋發熱決定，真是讓人咋舌。
不過劉方果是一員名將，隋軍戰力也遠超還是野人的林邑。
劉方得令之后，既無可靠的補給，又無后援，乃派欽州刺史寧長真、驩州刺史李暈、上開府秦雄等人率領步騎兵一萬余人出越裳（大體位于今日越南廣平省、廣治省一帶），收復了一直被林邑侵占的漢日南郡（即驩州）的南部，穩定了形勢。
劉方又在驩州打造戰船，準備水路并進。
可是劉方這邊準備好了，卻沒想到天子楊堅忽然去世，國家大喪，接著便是漢王叛亂，整個朝廷混亂不堪，等到形勢安定，時間已經過去數月。
新繼位的楊廣跟其父也差不多，是個喜歡開疆拓土的人，因此命劉方繼續攻打林邑。