他一路跟隨侯景敗逃到壽陽，自是其人鐵桿黨羽，被安排留守壽陽大本營，也足見侯景對他的信任。可是田英、郭駱兩個混蛋從歷陽逃竄回來，告訴他侯王已沒江南。又逢南梁鄱陽王使員強攻壽陽，眼見不守他才投降東魏以求自保。
可結果再傳來的消息卻是侯景已經執掌建康權柄，自然讓王顯貴懊悔不已。想要南逃又怕侯景問他背叛之罪，困在壽陽又不知哪天便會被招至鄴城而加以極刑。
他本身對于自己的處境已經是憂慮至極，卻不想如今西魏又興兵來攻，憑壽陽如今殘破之狀，又怎么能夠守得住這簡直是不給他留絲毫活路啊
王顯貴憂悵的險些背過氣去，卻又聽金城外響起了鼓噪喝罵聲，思緒這才轉到入城那群告急的義陽敗軍頭上去。
想了想后，他便著員將那名壽陽將領引入城中，打算再仔細認真的了解一下敵情如何。
楊忠自然不會只身赴會，彼此扯皮良久，才被獲準帶領麾下幾十名精卒進入州府前堂與王顯貴相見。
王顯貴雖然不認識楊忠，但是觀其身形高大、氣質昂藏，還是略加盤問幾句，想要試試他究竟是不是南人。楊忠自然不畏懼這樣的試探，講起南朝人事風俗如數家珍，聽的王顯貴一愣一愣的再也不敢懷疑他的身份。
可當講起敵情的時候，楊忠的話便仿佛一記記重錘砸在了王顯貴的心上。諸如義陽城高池闊、他主公夏侯強擁眾萬余，但卻仍然不敵西軍，被西魏軍隊直將城防撕裂開來、屠城數日等等。
王顯貴聽到最后，只覺得萬念俱灰、臉色慘淡如紙，楊忠見狀后便沉聲道“我城池已經不守，但卻不甘心投附西人。將軍乃是北方南來的雄杰，手握壽陽雄城，自應抖擻精神、據城一戰，難道還要引頸就戮不成”
聽到這話后，王顯貴張張嘴卻說不出什么，他心中雖已絕望至極，但也不愿在楊忠這陌生人面前露怯，只是沉默不語。
楊忠卻仍自說自話道“我主公本已向坐鎮懸瓠的燕公慕容行臺投誠，但因南人北投取信艱難，以至于慕容行臺未能來救。如今將軍本就北方名流，邀慕容行臺來救正合時宜。我也愿意追隨將軍共守此城，擊敗西軍為我主公報仇”
“你這蠻子，懂得什么”
王顯貴聽到這話后眸光先是一亮，旋即便又苦笑著嘆息道。如今的他是盼著東魏強援到來，卻又怕東魏執他前往鄴都問罪。
楊忠聞言后卻冷笑道“將軍所懼者無非東朝追懲前從亂于侯王之事，但就連我一個外人都看得清楚，侯王做大于江南，執掌一國權柄，其黨羽必定更盛。來年如果失敗，其徒眾絕難容于江南，自當北投東朝。東朝若嚴懲將軍，則是堵塞群眾北投之路，高大將軍果斷英明，又豈會如此不智若真不容將軍，將軍又憑何繼續鎮守壽陽”
聞聽此言，王顯貴臉上頓時顯露激動之情，指著楊忠便大笑道“我帳下多庸徒，無能為我分憂。足下望有熊羆之勇，用計言事的智慧竟也不下于侯王門下王偉啊”
只是過了片刻后，他又嘆息道“我與慕容紹宗實在沒有什么深情交往，如今壽陽又殘破不堪，我即便投書求救，他未必肯來啊”