赤岡嶺失陷，陳玉成兵團精銳喪盡，其後湘軍輕易奪取了集賢關要地。曾國藩對此一役三部的表現大為嘉獎，尤其對曾紀澤常勝軍的表現極為滿意。又令鮑超、成大吉部轉攻菱湖，截斷太平軍往安慶城運糧通信的水上通道，令曾紀澤率常勝軍守衛集賢關。
在赤岡嶺之戰進行的同時，多隆阿部與太平軍援軍也展開了反復的激戰。英王陳玉成在桐城與各部援軍會合之後，決定第四次援救安慶。5月23日，陳玉成、洪仁?、林紹璋、黃文金、陳時永統領太平軍會合捻軍孫葵心三萬余眾，從桐城掛車河到棋盤嶺連營二十里，築下數十壘。計劃率部在黃家鋪攻破湘軍團卡，調黃文金部四千余人埋伏于山崗，會同洪仁?、林紹璋等部分三路前進，結果，計謀泄路，多隆阿與李續宜部沿路設伏，大敗太平軍，繼而摧毀太平軍營壘，陳玉成損失千余人，只好又退回桐城。
其後不久，當陳玉成收到赤岡嶺陷落，集賢關失守的消息後，意識到安慶的處境更為不利，故輕過短暫的休整，又一次展開了三路援救行動。
英王、輔王率部從太湖取道小池驛與黃泥港、東趨清河、王橋頭、高樓嶺；章王、與吳如孝率部從桐城西邊進至掛車河與蔣家山；黃文金部自東路呂亭驛繞至雞公廟與麻子嶺。
湘軍方面，以多隆阿督副將石清吉、參將譚仁芳等部蛋擊太平軍林紹璋部；總兵雷正綰、副將王可升等部堵擊太平軍黃文金部。結果，此二路反攻部隊，都被湘軍牽制住不能前進，唯有陳玉成、楊輔清一路進展順利，一路突破湘軍防守，于6月下旬重新進抵集賢關下，駐營扎壘，打算重壓集賢關要地。
曾紀澤將再一次與這位太平軍名將交手，如果說黃州之戰的得勝有出奇不意的因素在內，那麼這一次將是一場面對面，堂堂正正的對抗。
曾紀澤對一千常勝軍面對的將是近萬太平軍，雖然他佔據集賢關險要，並擁有火力優勢，但他的常勝軍同樣存在一個棘手的缺陷，那就是彈藥供應量的問題。
赤岡嶺一戰消耗了常勝軍三分之二的炮彈，以及近一半的子彈儲存量，而偏偏常勝軍的步槍與火炮的彈藥要求極為苛刻，在當時只有英國本土才能生產，按照合同，英國方面每月只會運一船軍火來華。[]
面對如今彈藥不足的制約，曾紀澤再一次意識到了建立自己兵工廠的必要性。只是遠水解不了近火，曾紀澤只能以現有的彈藥來應對太平軍猛烈的進攻。
三營營長胡雪參是一名槍法出神入化，他手下的一營都是百步穿楊的神槍手，曾紀澤安排該營堅守集賢關正面。二營向望海部是一支能打硬仗的隊伍，該部人馬有不少都是三河之戰中幸存的老兵，該營被曾紀澤布防集賢關東北面的赤岡嶺，以成犄角之勢。一營部是曾紀澤在武昌成軍時的隊伍，曾紀澤親自率領該營作為預備隊。另將炮營布防于城頭東側，給予各營火力支援。
陳玉成部于5月25日向集賢關發動了進攻，前鋒三千之眾向赤岡嶺發動猛攻，向望海營據險死守，依靠炮營的炮火支援，接連打退了太平軍數次猛攻。
赤岡嶺上本身就有太平軍先前修建的堅固工事，雖然在湘軍之前的進攻中被摧毀了大半，但經過連日的搶修，四道營壘基本恢得了原狀。想當初湘軍是集中了數倍的兵力，以及炮火上的優勢，在三壘太平軍投降的情況下才免強攻下赤嶺岡，陳玉成想要以現有的兵力反攻該嶺自然不是易事。
幾番強攻不成之後，陳玉成留楊輔清部繼續圍攻赤岡嶺，自己親率七千余太平軍轉而正面進攻集賢關。
曾紀澤站在城頭眺望，只見烽煙籠罩之下，關下數里之外，太平軍連營十里，聲勢頗為浩大，午時過後，大隊人馬陸續出營，成片成片，如烏雲漫鋪而來。
「轉告胡營長，務必做到彈無虛發，盡量控制彈藥的不必要浪費。」曾紀澤再一次傳令叮囑白厚才。昨日的赤岡嶺保衛戰，向望海部消耗甚多，曾紀澤不得不將剩余的強藥儲存盡量撥給了該營，而堅守集賢關的兩營就只能依靠提高命中率來減小彈藥消耗。
「曾，照目前的消耗程度來看，我們現有的彈藥量是撐不過三天的，你必須趕快想辦法解決，要麼設法弄來補充彈藥，要麼就請求增援。」難得威利敏銳的覺察到了這一點，這個英**官仗著自己不用為錢的事發愁，每一次戰斗中都是不吝彈藥消耗。
下一批的補給要在6月初才能從英國運抵中國，在這之前，曾紀澤顯然無法解決彈藥短缺的難題，而防守集賢關的成功將是大功一件，他又不想讓他部來與自己分享功勞，這就造成了他現在兩難的處境。
「我會想辦法的，先頂過這一回的進攻再說吧。」戰事的發展容不得曾紀澤分神，太平軍很快發動了對集賢關的首次進攻。
轟！轟！太平軍率先向集賢關發動炮擊。曾紀澤根本就沒當回事，以這樣一個距離，他估計太平軍的山炮頂多打到城牆底下。卻不料，幾發炮彈徑直從頭頂飛過，直接落在了關內，數聲巨響，炮彈轟塌了幾間民房。有一發炮彈就落在曾紀澤所在的位置後方不遠處，爆炸濺起的灰塵落了他一頭。
曾紀澤大吃一驚︰「娘的，發匪啥時候弄到射程這麼遠的大炮了！」
威利倒是表現的相當鎮靜，他輕輕的彈了彈軍服上的灰塵，「這並不奇怪，英國有很多軍火商走私軍火給你們的反武府武裝，如果我沒猜錯的話，這炮的型號應該是‘謝菲爾德前裝炮’。」
太平軍的轟擊更加猛烈，他們似乎比彈藥充足時的常勝軍更寬綽，狂瀉而來的炮彈極具震撼力，可惜，也只是聲勢嚇人罷了，至于精確度卻實曾紀澤鄙視。
再先進的武器，最終還是要依靠人來掌握，陳玉成為破安慶之圍，倉促的從天京調來二十余門進口的歐洲火炮，雖然在數量與質量上佔有優勢，但操炮手的素質卻遠比常勝軍要遜色。
這些太平軍的操炮手依然靠傳統的目測手段瞄準，命中率自然與用儀器瞄準的常勝軍炮手不可同日而語。據曾紀澤估計，太平軍的炮彈至少有百分之八十以上落空，除了對集賢關內的平民造成了傷害之外，關上的守軍受到的威脅很小。
而太平軍似乎也並沒有將炮擊作為制勝的武器，裝備了相當數量先進槍炮的他們，其作戰思想與湘軍一樣，仍然是局限于熱武器輔助下的冷兵器對抗中。
在經過了一番「聲勢浩大」的炮擊之後，陳玉成下令步卒發動沖鋒。前陣手持刀盾的太平軍急撲向關城，其後緊跟的火槍隊，在沖到射程之內時，火槍隊在盾兵的掩護下列陣向城頭射擊，而步卒則繼續向關城猛撲。
曾紀澤清楚，遠程的火槍隊才是真正具有殺傷力的敵軍，他下令守城的三營集中火力向太平軍火槍隊射擊，並令炮營同時發起反擊。
在這樣一個火槍對射的形式下，佔有武器及地形優勢的常勝軍立刻佔據了上風，四百多條步槍很快將太平軍的火力壓制下去，那三角錐形的子彈能夠輕易的穿越太平軍保護的陣盾，減弱後的殺傷力仍足以對身體造成致命的傷害。
五百多火槍隊，轉眼之間被射殺大半。但與此同時，前鋒的步卒利用這短暫的交火時間，已然沖到了集賢關下，他們迅速的將背負的柴土拋入城牆前的溝壕之中，試圖跨過溝壕爬上關城。
肉搏戰，曾紀澤的常勝軍並不佔優，畢竟數量上存在絕對的劣勢，然而，曾紀澤早有準備。
當太平軍爭先恐後的躍入填滿了柴土的壕溝中時，曾紀澤一聲下令，點燃了預先埋在壕溝之中的火藥包。頃刻之間，百米長的壕溝線上，山崩地陷，石飛塵濺，踏入溝中的太平軍被炸得人揚馬翻。
沖天的煙塵火光吞噬了關前十米之地，曾紀澤站在近在咫尺的關城上都無法看清城下狀況，但他可以听到痛不欲生的哀嚎與尖叫，可以想象那是怎樣一種慘狀，促不及防的太平軍將遭受怎樣的重創。
在湘軍與太平軍的作戰中，湘軍曾不止一次的采用地下埋藥包的作戰方式，這種極具殺傷力的作戰方式，使得太平軍費力修建的一座座堅城都變得不堪一擊，曾紀澤只不過是改變了一下使用方法，使之不僅用于攻城，還能用于守城。
這一炸，沖鋒到城下的太平軍所受打擊慘重，三千余人約有一半死傷，強勁的攻勢頓時陷入了混亂之中。陳玉成沒想到湘軍會使用這一招，眼前攻城隊損失慘重，火槍隊也變成了湘軍的靶子，在這個不利的戰局下，他不得下令撤退。
太平軍倉促退去，曾紀澤知陳玉成用兵如神，恐其埋下伏兵，故勒令部下不可追擊，只需打掃戰城，加固關城。
——