武漢會戰中74軍參加万家岭戰役,74軍久攻日軍不下,張靈甫自告奮勇親率突擊隊從山后攀絕壁而上,攻占日軍撤退的主要道路張古山,立下成功包圍日軍第106師團之基石。1939年3月,參加南昌会战,右腿中炮彈負重傷,不顧醫生再治療一月可以痊愈的勸阻提前歸隊,帶傷參加長沙會戰,從此留下殘疾,被稱為“跛腿將軍”。後被提升為旅長、58師副師長、師長、74軍副軍長。1943年常德會戰,張靈甫親率突擊隊救援常德,迫使日軍退出,被蒋中正誉为“模范军人”。1944年5月开始的长衡会战中74軍未能成功援救圍困於衡陽的第十軍,雖受軍方高層指責但檢討後74軍並無作戰不力因此未遭懲處;長衡會戰後張靈甫在老長官王耀武的運作下调至陆军大学深造。1945年4月,湖南芷江保衛戰(雪峰山戰役)大獲全勝,被稱為「常勝將軍」,獲三等寶鼎勳章。抗戰勝利後,1946年4月升任整編74師(即原74軍,抗戰勝利後依中央命令,將「軍」降編為「師」)中將師長。