而吳家作為江南士大夫勢力的代表，理學的堅強擁躉者，那么雙方因為理念上的分歧，產生沖突是必然，即使聯姻也只能解決一時，卻不能保證長久的妥協。趙昺覺得以其等矛盾爆發，不若先一步解決這個問題，只有統一了思想，消除根本上的矛盾才能實施自己計劃。
趙昺在瓊州時想的是收復江南后，自己便可以獲得充足的財賦及人力的補充，進而可以大舉對蒙元用兵，以季風掃落葉之勢收復中原，將蒙古人遠逐塞外。但他發現現實與自己的構想還是有極大的差距的，內外形勢和面臨的情形與隋朝有著很大的相似度。
那時經過多年的戰爭，四百年上下長時間的大分裂時代，終被隋朝劃上了句號。中華民族在四百年的過程中海納百川，吸收胡族尚武之風，漢化了胡族，民族實現融合。可這“陣痛”以及遺留問題又哪有那么容易過去經過隋文帝的整合后，形勢依然不容樂觀，而隨后這個任務就落到了隋煬帝楊廣的身上。
隋煬帝此人在歷史上的評價，一個煬字就說明了問題。但是也不能因此全盤否定了其功績。他斯一上位面臨的不光有民族融合問題，尚有世家控制了文官系統，貴戚控制了軍隊實權，“皇帝”就相當于“世家聯盟的領袖”。換言之，皇帝多有掣肘，所以楊廣要鞏固統治，唯有集權
楊廣修大運河的事情則是人盡皆知，而史書上往往強調其是為了滿足自己下江南的私欲，卻忽視了大運河的作用，它連接南北全國各地，加速了南北融合，便利的交通也利于隋朝控制、消滅地方集團勢力的威脅。此運河對于后世華夏之重要性，大家有目共睹。其進一步發展科舉制度，恢復“國子監”、“太學”，打開寒門沖擊上層的通道；打擊突厥等外族，重建了西域絲綢之路。
而楊廣之過其實罪在三伐高句麗之戰，導致了隋朝的滅亡。趙昺一直認為以隋的綜合國力，滅高句麗應是易如反掌之事，而之所以連連失敗，則是敗在楊廣不知兵，且剛愎自用，親自出征指揮，如此一來造成軍事指揮錯誤，二來為保護君主軍隊有所顧忌。
另外君主因一己之事功，求片面榮耀，為意氣顏面，不計代價，對彈丸之地數次傾全國之力，終至大錯。本來征伐失敗無甚大礙，只因親征失利而意氣用事，一方面一得力將帥即可解決，卻征用舉國財富人士，再次以身犯險重蹈前轍。
三次出征的失敗導致了統制集團的分裂，使隋朝兩代皇帝拼盡力氣削弱的世家大族重新壯大，中央集權再度被虛弱。于是乎楊玄感跳了出來，你楊廣不行，換我做皇帝吧；李淵為首的關隴世家，叛變了；山東世家大族擁立竇建德，叛變了；貴戚重臣宇文家族、王世充，叛變了，對趙昺來說這都是教訓啊