得是寝食难安，他那暴躁的性格又是被逼了出来，常辱打麾下将士出气。
胡才当初在白龙山之败，并没有吃一亏，长一堑。他几乎将所有的责任都推在了白狼黑狼两兄弟身上。
胡才的暴躁性格一旦逼出，就一发不可收拾。他日夜的辱打麾下，又常常酗酒。一些贼子不堪遭胡才的折磨，又见河东军建造长堑，大有封山之意，便开始结群密谋，一批又一批的贼子趁着胡才半夜喝醉，纷纷逃下白波谷下。
这些逃跑的贼子，被白波谷周边的哨塔上的斥候发现后，很快便将其全部捉拿。而连日出现逃兵，无疑是给胡才火爆的性子，再添了一把火油。胡才一连杀了几十个贼子，以作杀鸡儆猴的警示后，逃兵的现象非但没有止住，反而越来越失去控制。只要胡才一喝醉酒，无论是白天黑夜，便有一大群的贼子，蜂拥地往山下逃去。
胡才见麾下的兵力越来越少，原本兵力不足的他，顿时起了俱心，唯恐文翰会忽然攻山。便心下有了领兵逃离白波谷，往凉城而去的意思。
胡才有了这主意，便马上行动起来，也不喝酒了，连日领兵勘察山中周围的情势，然后选好一条逃跑的路线，准备突破下山。
在数日后，胡才领着五千白波贼出了土