就在送別路易絲的第二天，曾紀澤向他的父親曾國藩提出了第二項建言，即在安慶開設一所制造槍炮彈藥的工廠，這也是之前他就向曾國藩提過的，那時也得到了曾國藩的首肯。
曾紀澤的提議得到了曾國藩以及李鴻章等幕僚的支持，曾國藩遂于不久後在安慶建立了大清第一座手工制造武器彈藥的工廠，取其名為「安慶軍械所」。
軍械所創辦之初，所雇工匠全部是漢人，采用的方法也是傳統的手工制作，效率極低。曾紀澤曾向曾國藩進言，向歐洲國家購買機器，並雇用洋匠，或者干脆采取大冶礦務局的合資方法辦廠，以獲取洋人的技術，但卻被曾國藩斷然拒絕。
曾國藩的理由是軍工制造對于大清而言極其重要，如此重要的產業，必須完全的掌握在官府手中，若是容忍洋人參與盡量，則大清軍火制造的詳情將盡為洋人窺視，若然將來與洋人發生沖突，則是大為不利。用現代的話來解釋曾國藩擔憂，那些軍工屬于國家一級軍事機密，任何可能泄露機密的威脅都是不能存在的。
曾紀澤認為曾國藩的擔憂是完全多慮的，眼下想改變清軍武器落後現狀，需要的是想方設法的獲得洋人的技術，而非自以為是的苛求于自己那點落後家底的保密性，說句不好听的話，就大清的那點軍事機密，趟開門來給人家瞧，人家都未必懶得去看一眼。在這一點上，曾國藩顯然要比胡林翼要保守許多。
曾紀澤沒辦法說服他的老爹，他意識到，想要按照自己的方式發展近代的工業，就必須有一塊自己可以完全做主的地盤。
權力不足一直是制約曾紀澤施展宏圖的難題，然而，機會很快就來臨。
九月初，由于李秀成加強了對上海的攻勢，當地仕紳不得不再次派代表來向曾國藩求救，這一次，曾紀澤在曾國藩按照原有的歷史做出決定前，搶先向他請求派由他率領著常勝軍前往上海支援。
曾紀澤先前在軍事上展現出的才華，已經足以讓曾國藩刮目相看，在他此刻看來，曾紀澤是繼曾國荃之後，他們曾家又一位可以擔當大任的良才。于是，曾國藩在經過了一番深思熟慮之後，決心派曾紀澤援救上海，並賦予了他在江淮一帶招兵買馬，擴充常勝軍實力的權力。
盡管如此，曾國藩對曾紀澤此行仍然有些許的不放心，于是他派了李鴻章一同隨他而去，從旁輔佐曾紀澤完成救援上海的任務。
原來這任務是應該由李鴻章去完成的，他的淮軍也是藉以崛起，但現在歷史在1861年9月的某一天發生了決定性的改變，曾紀澤將成為即將組建的淮軍領袖，而原本的那個主人公卻成為了他的助手。
曾紀澤首先要做的便擴軍，這一點上，他決定走李鴻章的老路，在受命組建淮軍的第二天，曾紀澤便踏上了拜將之路，與李鴻章同往合肥去招攬當地團練人馬。
曾紀澤拜訪的第一人是張樹聲，此人早年倡團練，與其父張蔭谷及弟樹珊、樹屏、樹槐等在周公山下殷家畈築堡寨，興辦團練，對抗太平軍，曾多次配合李鴻章所率團練，在合肥一帶圍攻太平軍，因功授知府餃。後與大潛山周圍的劉銘傳、董鳳高和紫蓬山下的周盛波等部團練相互呼應，號為「三山「團練，聲勢頗大。
李鴻章對張樹聲、劉銘傳等人的將才十分欣賞，極力的向曾紀澤建議收攬他們現在的人馬組建淮軍，而「三山」團練集團中，以張樹聲威望最重，可謂一呼百應，故曾紀澤要想收攬這股不可小視的人馬，那就必須先將張樹聲納入麾下。
經李鴻章引薦，曾紀澤在周公山上的張家堡見到了張樹聲與張樹珊兄弟，這兩人對于兩江總督曾國藩大公子的大駕光臨倍感驚喜，急忙召集全寨團丁列隊迎接。曾紀澤由寨門而入，見張家堡團丁們精神抖摟，隊列齊整，雖然手上抄的還是落後的鳥槍和大刀，但從士氣上來看，確是一支可用的隊伍。
張樹聲兄弟客客氣氣的把曾紀澤迎入大堂，幾經寒暄之後，李鴻章向他們說明了曾紀澤此行的目的。那張樹珊听罷興奮得很，二話不說，拍著胸脯當即答應，而張樹聲卻保持著沉默，神情表現的相當謹慎。
曾紀澤道︰「組建淮軍，正是為朝廷效力，掙個前程的大好機會，總比窩在這小小的張家堡要好得多，振軒兄莫非不想一展抱負，光宗耀祖嗎？」
張樹珊馬上道︰「大公子莫見怪，我這大哥做事一向贍前顧後的，能跟著大公子打長毛賊，將來的前程肯定大好，這等好事咱們哪能不願意呢，是吧大哥。」
張樹聲瞪了他二弟一眼，向曾紀澤道︰「大公子是見過世面的人，在你面前小的也不說假話。加入淮軍為朝廷效力，咱們自然是義不容辭，但小的听說攻打上海的長毛李秀成部有幾十萬人馬，我們這張家堡團丁滿打滿算也不過三千多，就憑這點人馬，怎麼能守得住上海呢。」
李鴻章笑道︰「振軒兄休要被粵匪人多勢眾就給震住了，豈不知兵貴精而不貴多麼，不知你有沒有听到過‘常勝軍’的傳說？」
張家兄弟窩在淮西劃地自守，于外界的消息當然不是很靈通，更何況常勝軍的異軍突起不過短短數月，所以他們自然沒有听說過。于是李鴻章便繪聲繪色的將曾紀澤率領著常勝軍一干奇功說來，只听得那張家兄弟神乎其神，唏噓感慨。
曾紀澤卻顯得很謙遜，道︰「少荃說得有點夸張了，我的常勝軍真要有那麼厲害，這會干脆就直搗金陵，活捉了洪毛老賊了。不過，少荃想表達的意思兩位應該很清楚吧。」
張樹聲道︰「莫非大公子想給淮軍也裝備洋槍洋炮麼？」
曾紀澤點頭道︰「正是，不光是我們淮軍，裝備洋槍洋炮將是大清每一支軍隊今後的發展趨勢，不僅僅如此，將來咱們還要自己造槍造炮，跟洋人的槍炮一樣厲害。另外，我的意思不但是想讓張家堡加入淮軍，如果有可能的話，我希望肥西附近的團練都可以加入，這樣一來咱們要人有人，要槍有槍，李秀成就算有百萬大軍又如何。」
曾紀澤的話給了張樹聲信心，他的表情總算有了幾分興奮，終于不再猶豫，表示願為曾紀澤效犬馬之勞，並表示願意替他引薦劉銘傳、周盛波等人，並說服他們一同投靠于曾紀澤的淮軍旗下。
——