此時北上的裴文安走的也不安穩。
裴文安受命北撤之后，心中不甘，企圖誘黃明遠追擊，但是大軍在蒲坂東北埋伏了一整天，也沒有看到隋軍的動靜。裴文安知道黃明遠已經識破了他的計策，不會上當的。裴文安只得壓住心中的不甘，選擇北撤。
實際上茹茹天保等人不停地催促，裴文安已經半失去了軍權。楊諒擔心裴文安心中不忿，因此命茹茹天保等人負責監視裴文安。而茹茹天保等人都是軍中老將，其威望自然不是裴文安等人可比的。
茹茹天保直言裴文安再不撤兵，他就要單獨行動。裴文安也擔心進一步失寵于楊諒，因此雖然此時已經是下午酉時，裴文安也只得選擇啟程。
其部一路往北趕了兩個多時辰，沒有到達虞鄉（今山西省永濟市虞鄉鎮西北）縣城。眼看天色已晚，裴文安只得下令在城外十里處扎營。
到了夜里三更過半時分，四下寂靜無人，一路快馬追擊的孤獨覽終于追上了裴文安。
這里是河東腹地，裴文安根本沒有想到會有敵軍出現，因此獨孤覽大軍殺出，其部立刻一陣慌亂。
隋軍這群騎兵，跟著黃明遠在草原上多次突擊、奔襲，都是夜戰、野戰的精銳。眼看漢王叛軍出現混亂，更是痛打落水狗。
獨孤覽乃命麾下大殺四方，又點起數處火堆。烈火沖天，燃燒四野。
獨孤覽率領八千騎兵，在漢王叛軍大營之中來回沖殺數個回合，皆無所阻擋。整個漢王叛軍營中，已經是哀嚎不斷，混亂不堪，一片火海。
裴文安驚慌失措，其麾下大亂，兵將不識，根本無法指揮軍隊應戰。幸好其部下茹茹天保乃是宿將，眼看軍中混亂，忙帶領麾下親衛組織人馬抵抗。茹茹天保率部沖殺到中軍，乃在中軍立起大旗，諸軍敢有沖擊大旗者，被其紛紛斬殺。漢王叛軍因此大懼，不自覺地按照茹茹天保的命令開始整頓。
獨孤覽生性謹慎，眼看叛軍開始有組織性地反擊，知道今日難以一戰勝之，便下令全軍撤退。
獨孤覽所部如潮水一般迅速退卻，只留下哀鴻遍野的漢王叛軍大營。今夜一戰，裴文安所部損失慘重，大軍輜重糧草皆是損失殆盡。受到重創的裴文安不敢久留，連夜整點兵馬，向十里外的虞鄉縣城而去。
并未遠去的獨孤覽見裴文安拔營，更是欣喜，乃命部下尾隨擊之，一路不斷騷擾對方。裴文安所部一路九死一生，連虞鄉縣城也沒能進入，眾人不停地北逃，等到天明之后，才趕到猗氏（治所于今山西省臨猗縣南），逃得一難。
獨孤覽不敢孤軍深入，便從猗氏回返。
裴文安所部后來一路到了絳州，楊諒的旨意到達，命其將軍隊交給茹茹天保，而裴文安則被任命為晉州刺史。
裴文安喪師辱國，也沒有之前的意氣，只得怏怏地前往晉州。
而黃明遠這里，蒲坂城西北方向火起，立刻就驚動了城中的王聃、紇單貴等人。這時隋軍之中偽作漢王叛軍潰兵的信使拼命來到城中報信。