石达开冷不防清军另有这两支步队，他的雄师被冲成几段，死伤惨痛，不得不鸣金收队。
而后数日，石达开多次围攻衢州，都被周天受、江长贵所部清军败北，寸步难行。
但是，石达开再次落入周天受算计，周天受命李定太率精选士卒7000人连夜偷袭石达开在寿昌的堡垒，段光清也率黔勇来源，清军三路围攻石达开，石达开分兵拒战，清军数路并进，连毙承平军将领多名，石达开部败溃；清军各营追逐，石达开搏命回扑，还是没有胜利。寿昌大败，石达开图杭、严门路完整封死，石达高兴灰意冷，决定从浙江全线撤退，转战福建，与部下杨辅清的军队会师。杨辅清的步队趁着石达开部在浙江疆场管束了清军东南主力的机会，在福建斥地了数块按照地。
衢州，是一座具有一千多年汗青的江南重镇，一向是浙江、福建、江西、安徽四省边沿交通关键和物质集散地，素有“四省通衢、五路总头”之称，交通非常便利。石达开没能速战持久，苏、皖各省的救兵也很快达到。
石达开这时身边并没有太靠近的将领群情战事，内心的苦闷无处可诉，这时家人便是他战役的最后动力，他隔了好一会才闷闷地对黄氏说道：“浙江的仗打不下去了，每次弟兄们冒死猛攻，目睹冲出来了，无法妖军奸刁，城里又挖了一道壕沟，挡住了来路，重新又把缺口堵住了，倒是死伤了很多弟兄。我军湖口大捷光复武昌的时候，所向无敌，一座座城池的光复，的确不消兵戈。为甚么这回从安庆出师，在江西打得很吃力，到浙江来，几万雄师拿不下一座衢州城，究竟甚么原因，我实在想不透。莫非是我老了？本来我想打下浙江，让你们娘俩过几天安生的日子，看来还得要一段时候。我已命令退兵了，明天就退出浙江，你归去清算一下。”
时近春季，夏季的余威犹在，院中两棵蔽阴的香樟树枝叶纹丝不动，知了在树上叫得民气烦。傍晚，石达开畴火线督师返来，浑身大汗回到客堂，只是喊热，小妾刘氏、马氏从速过来为他撤除袍帽短衫，赤了膊，侍女端来一盆井水，绞了手巾把子，由马氏替石达开擦了身，换上洁净的白纺绸衫，然后与刘氏退了下去。另一名侍女切了一盘西瓜捧了出去，是用吊篮放在井中凉却的，石达开的正妻黄氏陪他着西瓜，看他懊丧疲累的神采，体贴肠问：“明天又交了一仗吧？如何样？”
清廷在浙江督战的耆龄，也不是昏官，他窥破石达开诡计，奏称石达开攻取常山等地，不过欲分衢州兵力，他让清军主力钉死衢州，毫不成分周天受守衢州之兵，常山等地战事由各省调派救兵助战。清廷纳其议，调拨江南大营和春部将郭启举5000人声援常山野蛮，又调周天培等几路人马充分周天受的衢州守军，合其他各路清军，衢州四周与石达开苦战清军精锐达到二万七八千人，不但未分兵力，气力反更见薄弱。
石达开亲身上阵，两边一场狠恶厮杀，血流成河，杀伤过当，但还是对峙不下。
那天早上，晨雾还未散去，清军的大将张腾蛟和饶廷选合兵迎战石达开部。
石达开硬攻衢州的打算落空，部下死伤惨痛。这时曾国藩让萧启江、张运兰、王野蛮部一万七千余人抓紧时候入浙江援助。石达开接到此动静，只好放弃了衢州，移兵攻陷寿昌，绕道向杭州进发。