李泰跟李賢的接觸并不算多，只在早年間跟隨獨孤信前往隴右任職的時候，獨孤信典軍平定涼州叛亂、李泰留守秦州，李賢亦隨軍出征、途經秦州天水時有所接觸。
接觸的時間雖然不多，但彼此間的交流和感受卻很深刻。李賢給李泰留下的印象比較正面，精明中不失豪爽，遠比一般的地方豪強格局眼光更顯出眾。之后彼此雖然分隔兩地，但也一直都有商貿上的合作與往來，而李賢也一直都處理的比較周全得體。
原州距離長安本就比較遠，算算往來奔波的路程和時間，幾乎是在李遠父子回到原州的同時、李賢便做出收斬他們父子并率領全家入朝請罪的決定，才能趕在這個時間點抵達長安。
這樣的態度，跟距離長安近在咫尺、可仍拖延到宇文泰喪禮才來相見，還要來道德綁架李泰的侯莫陳崇相比，那真是有著天差地別。宇文泰在選擇將兒子托付給李賢撫養的時候，估計也有出于對其人秉性和智慧的考慮吧。
李泰先是抬手召來家人，當著李賢兄弟的面著令趕緊安排飲食保暖的物料送出學館去給高平李氏在外的家人們，然后他才又拉起李賢，將之引入席中坐定下來，然后才又嘆息道“前者中外府人事紛亂，造成許多惡事，的確是讓人思之痛心。
但陽平公卻罪不在此，他養兒失教，非但不作自省，反而還更加縱容，禍事敗露之后，如若能夠原地待罪，我仍然不失饒之恕之的借口。但他卻仍然縱惡到地、播禍鄉里，使我險失河西公這樣功著邊陲、名達廟堂的忠義之士，今與公言，思之猶驚。據此以論，陽平公確是死有余辜”
李賢聽到這話后又抱臂長揖道“賢鄉野陋士、罪惡瓜葛，實在愧當唐公如此贊譽”
“一手五指有長短之差，一蔓之瓜有甘苦之別，親能逾于父子故大冢宰半生之功險為孽子拋揚于朝夕，我雖褒其功、亦誅其子陽平公縱子行兇、至死不悟，河西公卻能深明大義、舉家來投。我若仍然濫情遷怒、推卻疏遠，則事共誰謀”
講到這里，李泰又指了指李遠父子的首級說道“事在心知，不必復言。河西公本就是久處邊中的壯士，朝事多有不知。你今既入朝，我正有備胡邊事需向你討教。公且留此，門外家人便由武安公引回城中安置，無復再忍冰霜之苦。”
李賢的態度的確可嘉，而且李泰接下來對其人其家也都有借力之處，于是便表示不會借李遠父子之事對其家大加株連，只留下李遠父子的妻兒家眷以待年后論處，其他的李氏族人則就讓李穆引回城中家宅安頓下來。
李賢這一晚便被留宿學館之中，李泰與其聊了很久的西北邊事。無論是西邊的吐谷渾，還是北面的突厥，都是活躍在西魏邊境處的大敵。
之前李泰因處山南，對此所知不多，也并不是他需要操心的事情，但是如今他歸國執政，那么這些事情也就成了他無從回避的問題。無論未來該要如何相處，對于這方面的情況也要加強了解和認知。
李賢常年留守原州鄉里，且多在隴右任官，此時聽到李泰垂問，便也都認真作答。彼此交談一直到了深夜時分，因為還要參加元日大朝的緣故，李泰才讓李賢到客房去休息，而自己也閉目養神一番。