辛兴宗也知道现在形势困难，命杨可世和赵明分路指挥人马还击，王禀约束后面的步军布阵，谁想到对方利用贯穿的战术，将杨可世、赵明两军隔开，赵明的四千步军转眼就溃不成军，刘虞荆和桓万悉死死地顶住辛兴宗的帅旗，指挥着辽军像两条蛟龙一样，肆意地步步紧逼。
而杨可世被孤岳释盯住，虽然双方骑兵纵横，杨可世的骑兵人数还超过了辽军，但是双方战斗力的差距是显而易见的，混战在一处宋军并不占优势；孤岳释一口气连杀杨可世身边二十三名亲兵，直接杀到杨可世的身边，大笑着说“前天我出手，岳飞和一个不知道名字的傻小子都与我拼了一招，过瘾啊，杨将军，你只要接下一招，我就让回去。”
杨可世也不废话，正在急速向前的战马突然改变了方向，骤然加速，一招举火燎天，虎头枪就本孤岳释全力而去，孤岳释借助战马腾空而起，身躯在空中转向，一刀正拍在虎头枪的枪头上。杨可世身体一震，战马倒退了数步才站稳，孤岳释稳稳地收刀落到坐骑上，一声高喝“杨可世快死了，全军出击，杀了杨可世有赏。”
杨可世已经身受重伤，亏得杨可世身边都是生死与共的袍泽，硬是冲上去，用血肉之躯抵挡着孤岳释和辽国骑兵，死战不退；辛兴宗的帅旗终于开始后退了，虽然还有五千胜捷军的精锐骑兵，但是辛兴宗还是选择了撤退，王禀指挥的步军跟着崩盘，两万宋军被六千辽军杀得大败，一直到看见杨惟忠和种师道派种师中部将赵德引一千骑来援，萧干才下令退军。
赵明的五千人聚拢到一起，不足七百人；杨可世的精兵接连两站损失过半，王禀、辛兴宗两军各伤亡一千多人，总共损失了近九千将士和两千匹战马。种师道已经过河，正在营寨里等着，问清楚情况便知道胜捷军没有死战的勇气，否则与对方骑兵相当，还有上万的步军怎么会输的这么干脆利落。
杨可世虽然看上去浑身是伤，但是外伤都是皮肉伤，没有伤筋动骨，只是孤岳释的那一击，让杨可世下马后根本无法站稳，被抬进大帐。种师道让人去沧浪营调神医安道全来给杨可世看病，跟着安慰辛兴宗“胜败乃兵家常事，暂时据守此寨，与我在白沟河南呼应。”
辛兴宗拒绝了种师道坚守河北小寨的建议，在他心里，种师道这是要自己来承担后果，隔河守着这样一个寨子，一旦粮草断绝，军队就是不战而溃的结局。辛兴宗自认为自己不是失街亭的马谡，摇着头说“坚持自己全军后撤到南岸，西路军战斗力太差，我要回雄州向太尉汇报，为安全起见，大军南撤渡河，不能在这里坐以待毙。”
王禀、赵明等人埋头不语；种师道摇了摇头，回头对赵德说“杨志马上就到，现在开始，你归杨志指挥，我会和杨志说，坚守此寨，就算大军全部撤走，你们就是断后的。至于最后突围还是等待我们打过河，看信号为主。”
辛兴宗一言不发，好像种师道的话和他一点关系也没有；杨惟忠听了，不好意思地说“种将军，不是我忍心看着袍泽承担风险，实在是这河北地方上的军队太乱了。我将韩世忠两百骑留给赵将军，都是跟随我从西北来的老兵，算是尽点力。”