就在中華大地上的其它地區由激戰重新變回原來的零星交火的3月21日清晨，由尾高龜藏指揮的第3軍以4個師團重兵對太原發起了進攻。
由于守軍兵力不多、質量不高、準備不足而戰力甚弱，陳長捷只能將自己親率的、整編成4個團的72師主力部署在日軍來的東面，只整編成3個團的73師部署在北面，比較強的213旅部署在南面，新1旅部署在有汾河掩護、威脅最小的西面警戒，及和73師一部分一起在市區擔任預備隊，幾個還沒完成訓練的新編團則全部打散編入各部，尤其是缺員甚大的72、73師補充缺額。從炮21、22團挑選出2個營級機動炮群支援各方，其余則和炮30團（炮壘大隊）一起部署在各點作為固定火力點。
雖在陰雨中飛行戰隊無法投入戰斗，日軍還是利用**因兵力不足主動放棄的太原外圍的山地上設立的觀測站完成了多次炮兵射擊校正。8時整，除第11師團第11山炮聯隊因為被安排在西邊進攻來不及只部署、只投入部分炮兵外，其余3個師團炮兵聯隊一起開火，200多門山野榴炮發射的炮彈組成密集的彈雨掃過太原城頭、或落入太原城里，引起數不清的爆炸和不斷燃燒的火焰。
但跟日軍想象的不同，閻老西雖不善戰，但經營有方，20年奮斗下來，太原也並非無絲毫還手之力。因日軍突襲而來不及撤退的、被閻老西屢屢拿出來吹牛的重炮部隊終于發揮威力，陳長捷一聲令下，在擁有20多門山炮機動山炮支隊的伴隨下，20余門部署在城區內擁有永備堅固射擊陣地的日式105、120、150榴彈炮突然反擊，精確的將炮彈砸進經過長期測算選定、經過試射校正的日軍炮兵陣地；強大的日軍炮兵雖對**一定程度的炮兵反擊有所準備，但如此準確的射擊和規模還是使日軍措不及防；特別是由于從娘子關入晉，日軍重炮兵還未跟上，最大的大炮只是師團105榴彈炮而已。
于是當**炮彈以每分鐘超過20發的速度命中各個日軍炮兵陣地的時候；雖然擁有數倍數量優勢，但缺乏精確定位的日軍炮兵命中**炮兵射擊位的炮彈不過寥寥幾發。且就是這每分鐘幾發，除個別特別走運的以外，也只在**炮壘外層爆炸，離摧毀里面的大炮還遙遠的很。（歷史上閻錫山有比本書中更多的時間逃跑，之所以把這些大炮運出太原，可惜中途被日軍追上，為避免被敵繳獲，這批重炮連同隨行的許多山野炮多扔進沿途河流當中，號稱10團大炮、除被傅作義帶走一個團外，跑到晉西南只編成5個降低一半編制的小型炮兵團；歷史上第18集團軍炮兵團就是用後來從河里撈起的一部分山炮組成的。）
1門門山野榴炮在炮兵對射中被**發射的炮彈擊毀，而使日軍損失慘重的不對稱炮戰還在繼續，日軍將佐的心里都在滴血，不少炮兵佐官甚至不顧軍中禮儀，怒目直視下達炮戰命令的尾高龜藏；終于，對自己未來命運的可怕預計形成的巨大壓力迫使尾高作出了相反的決定︰提前投入步兵發起進攻！
雖然炮兵損失很大，但軍中體制還沒有崩潰，各步兵聯隊大佐們還是順從的開始執行這道不合常理的命令；面對平均11米高的磚砌包土、厚達9米的太原城牆，及城牆上用太原洋灰（當時對水泥的稱呼）和磚石修築的密密麻麻火力點，沒有大規模火力準備就匆忙投入進攻？無疑是步兵的可怕惡夢。
城頭上彈如雨下，子彈、手榴彈、各種炮彈，甚至還有不少觸發地雷；連續的爆炸在幾分鐘內就讓攻城的日軍遭受了上千的傷亡；日軍的各種輕炮兵、包括新裝備部隊的仿**中型迫擊炮貼近城牆，拼命射擊，但除每個大隊才裝備2門的步兵炮外，其余炮彈都威力不足，使日軍試圖掀掉城頭火力點的願望在絕大多數情況下落空；而步兵炮的彈道又過于平直，只能轟擊**火力點最厚實的正面。于是，試圖登城的日本步兵的慘重傷亡就不可避免了。
不過讓日軍傷亡慘重的代價是彈藥在迅速被消耗當中，並且不少士兵、特別是新兵被擔任掩護的日軍輕重機槍和神槍手屢屢擊中。射擊很快因為傷亡大而基本停止，大部分士兵不顧一切的將手榴彈和觸發地雷乃至迫擊炮彈投下城牆，而造成的戰果卻因為日軍第一批部隊的傷亡、後續部隊的分散而急劇下降。
這時，日軍適時推出一批速射炮、高射炮，以這些直射炮對準城牆上的火力點開始抵近、精確射擊。這些小口徑火炮對城牆本身固然無多大作用，但對于摧毀城牆上閻錫山構築的大部分小型火力點還是勝任愉快，甚至最堅固的、用鋼筋水泥加強的火力點在被屢屢直接命中後，整體雖不垮塌，但震蕩波導致火力點內碎片橫飛，守備其中的晉軍將士非死即傷。
一陣炮擊過後見守軍火力迅速減弱，各一線步兵聯隊大佐們下達了第二波進攻命令，大批士兵在機槍和輕炮掩護下再次迅速接近太原高聳的城牆。然經歷多年內戰、以善守著稱的晉軍骨干們，雖在一時間被日軍密集的直射炮打悶，但很快就恢復過來，乘日軍聚集城牆下開始登城的瞬間，各分隊迅速投入敢死隊反擊，不顧暴露向下投擲地雷和手雷；雖在日軍密集的子彈和炮彈打擊下，這些敢死隊員往往只投出1、2枚炸彈就被擊倒炸碎，在就是這每每1、2枚威力巨大的反戰車高爆手雷或者觸發地雷，正聚集城牆下、攀登太原超過10米高城牆的日軍也承受不起；往往一炸就是一個步槍分隊（步兵班）全數傷亡。
雙方的傷亡數字于是都在雙方將領死戰不退的嚴令下急速上升，從東、南、北三面攻城的第一批步兵大隊很快就都被打爛撤下去整理，第二批緊跟著再上；而**方面直接守備的72、73師及213旅7個團中的戰斗兵也大量傷亡，72、73師還有預備隊，213旅方面陳長捷只能調用西邊的新1旅預備隊，但新1旅是新兵團，甚至各級干部也是多未跟日軍交戰過（山西這24個新編團系抗戰開始前開始組建，第一批各團中干部多為老部隊干部升半級抽調），剛投入戰斗難免措手不及，忙亂間被第14、46聯隊各一部在數處突上城頭；雖然213旅的老兵還有一些，但多為從未經歷過戰火的新編團士兵還是在面對面的短兵相接當中被凶猛的日軍打悶了，部分城頭甚至出現局部崩潰。
危急之間楊維垣親率衛士及一些擔架兵等後勤人員發起反擊，但很快就被蜂擁而上的日軍打垮，楊維垣也被子彈擊中倒下，衛士們護著旅長急退，反擊也告失利。眼見南城發生危機，陳長捷迫不得已投入部署在城內的預備隊73師433團發起反攻。這個陳長捷的老底子投入戰斗很快就起到效果，在城里迫擊炮群掩護下、在西城陳慶華部協同下，南城上立足未穩的零散日軍被晉軍老兵們用刺刀和手榴彈一一打落下城，但這一波反擊、尤其是日軍被趕下城後的急速射反擊炮火，也讓433團損失近半。
中午短暫的休息過後，日軍攻勢再起。這一次第一個抵達的日軍150榴彈炮聯隊加入戰斗。經歷一上午炮戰後的日軍炮兵軍官已經計算出無法移動的晉軍諸炮位，150重炮不斷擊中晉軍重炮掩體。而晉軍布置在城牆上的各個炮兵觀測點卻多已損失，有些甚至連替補也傷亡待盡，由于無法給新的日軍炮兵陣地精確定位，晉軍重炮兵的效能直線下降，雖還勉力轟擊比較接近的日軍一線步兵和輕炮兵聚集點，但無可避免的是這場炮戰終將以**失敗而告終。
下午的戰斗在持續，日軍由于重炮部隊不斷投入戰斗而逐漸佔據上風，步兵也逐漸後撤待機讓重炮發揮威力。被集中轟擊的、高厚的太原城牆上的幾處逐漸崩塌瓦解，外層的磚石飛散，里面的沙土慢慢塌陷，逐漸形成一個陡坡，並慢慢的變成緩坡。城里，**重炮掩體在被一發接一發重炮炮彈直接命中之後終于超過承受能力而塌陷，有些更在此之前因為內層崩塌而損壞。雖然日軍步兵還未再次投入進攻。但無疑的，日軍攻入太原已是要用小時甚至用分鐘來計算的問題了。
「介山，想不到最後守這老西們的老窩的居然是你一個福建人和我一個山東人？」73師代師長王思田說。
陳長捷抱以苦笑︰「總司令還是照顧老鄉啊！」
「要不我們等入夜後從西邊突圍試試？」
「等堅持到天黑再說吧！」
「哎……」