徽州失守，祁门变成了前线。此时祁门的兵力，仅张运兰的老湘营一部分及康福的亲兵营，合起来不足三千，情形十分危急。湘勇老营弥漫着惊恐慌乱的气氛，曾国藩虽恨李元度不争气，事到如今也无可奈何了。他一面布置张运兰、康福率兵扼守距老营十里外的榉根岭、羊栈岭，这是由东北方向进入祁门的两道关口。一面派出两队人。一队向南通报驻扎在浮梁、景德镇一带的左宗棠，务必保护好祁门通往江西的大道，徽州失后，这便是祁门粮饷、文书的唯一通道了；一队向宁国方向奔去，沿途寻找鲍超，要他火速来祁门救援。
此时，太平军正分兵三路向祁门包围过来。李世贤带着四万人进入江西，拟从南面打祁门，谁知遇到了劲敌左宗棠。
左宗棠在乐平城东南一连三次大败李世贤。南路太平军受阻，不能按预定计划进入祁门。东面，罗大纲率二万人穿过渔亭镇，在榉根岭遇到了张运兰的狙击。西面，周国虞率二万人翻过大洪岭，在羊栈岭遭到了康福的抵抗。太平军的兵力在湘勇十倍以上，湘勇则占住了有利的地势，双方打了三天三夜，一时还没有分出个胜负来。但是，湘勇的人数一天天减少，太平军随时都有可能破岭而入。看来，祁门老营的覆没是在所难免了。
白天，从榉根岭、羊栈岭不断传来凶惨的喊杀声；入夜，岭上岭下，到处是时明时灭的松明火把。两江总督衙门里那些纸上谈兵的军机参赞们，舞文弄墨的书记文案们，以及记帐算数的小吏们，虽然生活在军营中，却从没有亲眼见过两军厮杀的场面。更没有过身历前敌的处境。这些手无缚鸡之力的文人们，一天到晚处在极度的恐惧之中，眼见得东、北两面血肉横飞，南面略为安静些，便瞒着曾国藩，互相串通，偷偷地买通了二十号小划子。每天夜晚，将一包包行李往划子上运，单等败兵逃回，便起篙向江西方向划去。当李鸿章把这个情况报告曾国藩时，他气得怒发冲冠，恨不得把这些扰乱军心的胆小鬼，一个个抓起来杀掉。但他没有这样做，反而亲拟一个告示，叫文书誊抄后贴在营房外：当此危急之秋，有非朝廷命官而欲离祁门者，本督秉来去自愿之原则，发放本月全薪和途费，拨船相送；事平后愿来者，本督一律欢迎，竭诚相待，不记前嫌。
这份告示一贴出，那些准备走的幕僚反而不好意思走了，又偷偷地把行李从划子上搬回。对这一切，曾国藩装作没看见一样，白天他照旧批文、发函、见客、下棋、读书，安之若素，稳如泰山；夜晚，他开始清理文书，把一些重要文件包扎起来，叫荆七藏在附近山林里，对荆七说：“倘若老营倾
