不久之後，張樹聲果然說服了劉銘傳與周盛波加入，這樣一來，曾紀澤的這支新建淮軍人數將達到一萬余人。[]曾紀澤在常勝軍的基礎上再次改進了編制，將原有的三營擴建為三團九營，炮連擴充為直屬炮營，並新編入了一個直屬後勤營。
為了避免湘軍兵歸將有，主帥調動不利的弊病，曾紀澤將原有常勝軍與新加入的團練勇丁進行了系統的混編，保證了在每一級的指揮崗位上，新舊將官所在比例達到比較平衡的水平。
新編淮軍中，張樹聲任二團團長，向望海任副團長；劉銘傳任三團團長張樹珊任三團副團長，胡雪參任一團團長，周盛波任副團長。許厚才任直屬炮營營長。
曾紀澤原計劃除威利外，聘請更多的外**官對淮軍進行系統的西洋軍事訓練，但鑒于上海形勢的緊張，以及北京局勢的不確定性，曾紀澤認為有必要盡快的將上海這塊得天獨厚之地掌握在淮軍的手中。于是，在經歷了不到一個月的短暫訓練，曾紀澤就決定率領淮軍開赴上海。
上海官紳對于淮軍的到來自然表現出了極大的熱情，他們應曾紀澤的要求，向在滬外國輪船公局租用了多艘火輪，運送一萬淮軍分數批，闖過了長江下游太天天國佔領區域，于十月中旬順利到達了上海。
曾紀澤抵達上海的頭一天，以江蘇布政使吳煦為首的各界人士就擺下盛宴為他接風洗塵，他們對這位兩江部督之子，淮軍統帥表現出了相當的尊敬與熱忱。曾紀澤在宴會上表示，他的淮軍擁有與太平軍作戰的豐富經驗，如果上海官商界能為他提供購買武器以及餉銀的充足支持，他保證他的淮軍將保衛擊敗太平軍的入侵，保衛上海的安全。
上海成為通商口岸日久，租界內外外國公司雲集，許多中國商賈也在此開辦產業，當時的上海號稱「東亞第一都市」，更是清政府關稅收入的主要來源，用富可敵國來形容上海雖有夸張，卻也形象的描述了上海的富裕。
錢對于上海官紳們來說並不重要，重要是淮軍能夠守得住上海，吳煦當即代表各界表示，只要淮軍能保證上海安全，則他們可以提供每月二十萬兩人的餉銀，另外提供購買洋槍洋炮的全部費用。
打仗就是燒錢，有了上海這個大金庫作後盾，曾紀澤更增加了守住上海的信心。與此同時，他向吳煦私下提出了另一個要求，即以上海衙門的名義，立即解散洋槍隊。
1860年，當時正值太平軍攻克蘇州之際，英美等國為了阻止太平軍攻佔上海，但又不方便撕破中立的面具，直接派兵與太平軍為敵，便由清政府出面，委派美國人華爾召募外籍亡命徒及軍人組成了雇佣軍，即洋槍隊。
洋槍隊在建立的初起，由于人數有限，在保衛上海的戰斗中發揮的作用也十分有限，其真正發揮重大作用的時候，則是在1862年擴軍，並被清政府賜名為「常勝軍」之後。後來的幾年中，該武裝不斷的擴充，不但成為了一支令太平軍望而生畏的隊伍，更因為英美等國對其的控制，任其成為一支清政府眼中一支尾大不掉的威脅力量。
曾紀澤既然準備將上海，乃至江蘇作為自己發展的根據地，那自然不能允許在淮軍之外，還存在著另一支強大的武裝力量，解散洋槍隊便成了他首要的目標。
當時，華爾率領洋槍隊在與太平軍的一次交戰中，遭到慘敗，士兵折損大半，本人也負重傷，洋槍隊的戰斗力遭到嚴重的削弱。華爾當時正準備改變方針，招攬中國人加入洋槍隊來增強實力，曾紀澤選擇在這個時候對洋槍隊下手，時機恰如其分。
華爾性格盛氣凌人，平素從不將吳煦這個江蘇布政使放在眼里，即使是前來要銀子時也是一副大爺之狀，吳煦之所以能對他忍耐這麼久，無非是仰仗他手下的洋槍隊來對付太平軍的進攻。
現如今，淮軍既來，上海的形勢大為好轉，洋槍隊的存在自然也就沒有必要，所以他當即听取了曾紀澤的建議，下令上海政府將不再為洋槍隊提供任何經濟與物資上的支持。
洋槍隊人馬損失大半，如今又失去了銀餉來源，英美兩國又不便直接為其撥款，故華爾不得不在幾天之後宣布解散了洋槍隊，本人則繼續逗留在上海租界養傷。
就在曾紀澤組建淮軍的同時，太平天國李秀成率領二十萬人馬，號七十萬人的大軍進入浙江，展開了對杭州、寧波等重要城市的進攻，因此上海的局勢得到了短暫的穩定，這正好給了曾紀澤抓緊時間武裝、訓練淮軍的時間。
在武器方面，曾紀澤準備結束與英國合同，轉而向美國進口武器。正在進行的美國南北戰爭，促進了武器，特別是步槍的快速發展，戰爭的雙方不斷的研制和改進步槍性能，使得美國的步槍制造業迅速的趕超了歐洲，使其投入戰爭的多款步槍都領先于世界先進水平。
而曾紀澤把目光投向大洋彼岸的美國，更預示著他將來的外交重點，從英美兩人國對待中國的態度上而言，英國的殖民野心更為強烈，這可以從兩人次鴉片戰爭中，對香港的領土佔有可以看出。而美國人則顯然更注重于對華貿易，門戶開放政策更明確的說明了這一點。
當時的大英帝國正處于「日不落帝國」的輝煌鼎峰，中國與之交往完全處于不利的地位，而美國正值內戰以及工業發展期，兩國的來往可以存在的更多的合作互利性折潛質。
至少在曾紀澤看來，歷史上的美國並未奪取過中國寸土，這樣一個國家，顯然要比對領土充滿野心的英、法、德、俄等國要「善良」的多。
曾紀澤向美國領事克拉克遞交了拜帖，這位新任的美國駐上海領事對這支進入上海的清**隊充滿了興趣，他很快邀請曾紀澤參加在美國領事館內舉行的一場酒會。
曾紀澤欣然應邀，于當晚乘著便裝，乘坐一輛馬車前往虹口的美國租界。在時間較為充裕的情況下，曾紀澤選擇了一條繞遠的路，順便欣賞一下外灘的景色。
這條上海最主要的街道，距黃浦江約40英尺，與江岸平行，在外灘和黃浦江之間，是兩排綠樹和一片美麗的草地，非常漂亮。江風裹著秋陽，溜過綠樹吹撫著外灘，清新的氣息令人肺腑通暢。
曾紀澤也曾在外灘游玩過多次，但這個時代的江水尚未被嚴重的工業廢水所污染，城市的空氣也沒有被汽車廢氣渾濁，行進在外灘之上，感覺與那時完全不同。
——