1861年后，由于太平军在安庆保卫战中失败，使淮南战区处于极为不利的形势，张乐行只得率领捻军渡淮北上，重新回到雉河集，结束了与太平军在淮南长达五年的联合作战时期。但在同治元年四月（1862年5月），张乐行还曾经准备在寿州拦截陈玉成的囚车，救出自己的战友，结果没有成功。由于捻军失掉了太平军的支援，从1862年后，斗争极为艰苦。清政府派僧格林沁率领着蒙古骑兵作为镇压捻军的主力。1863年3月，捻军的根据地雉河集被清军占领，捻军的领袖张乐行被僧格林沁杀害。捻军虽然失去了根据地，失掉了领袖，但是，捻军的斗争并没有结束。张乐行的侄儿张宗禹又带领队伍重新收复了雉河集，团结捻军余部继续与清军战斗。
1864年太平天国首都天京失陷后，原被陈玉成派出远征西北的一支太平军，回师东下，与捻军联合。太平军的将领赖文光被推为捻军首领。这时期的捻军与以前不同，它发展成了一支正规化的战斗部队，有统一的领导，有独立作战的战略方针，更重要的是，它在整个抗清斗争中，已经不是单纯起着一种配合作用，而成了一支主力军。捻军为了反击僧格林沁的骑兵，便“易步为骑”，以骑兵为主，转战于安徽、河南、山东、江苏等地。1865年5月在山东菏泽彻底击溃了僧格林沁的骑兵，屠杀人民的刽子手僧格林沁也死在捻军的铁拳之下。