1944年8月15日，彭雪枫率部队开始西进，击溃阻止前进的顽军苏北挺进军两个纵队，毙伤俘纵队司令以下一千六百余人，争取部分顽军起义。至9月上旬，即建立起三个县的抗日政权，恢复了萧、永、宿地区。国民党第一战区长官部命令陈大庆除以三个军布防涡河以南外，另以暂一军军长王毓文指挥四个师另七个纵队向萧、永、宿地区发动进攻。王毓文率领三个师另四个纵队由涡河南向北，阻止新四军西进，苏北挺进军所属耿继勋、刘瑞岐残部由陇海路北向南，段海洲第三十三师和苗秀霖第十四纵队由津浦路东向西，企图于9月中旬合击新四军。中共中央军委根据顽军兵力虽多，但建制不一，相距较远，不易协同作战，容易各个击破的特点，确定了首先歼灭段海洲、苗秀霖，再打由涡南北犯的王毓文顽军的作战方针。9月12日，段、苗两部顽军由睢宁出动，彭雪枫即以彭明治、韦国清两旅和粟裕一师的一部截击段、苗两部，歼其一部，该顽军即逃入时村等敌伪据点。彭雪枫率西进部队于11日攻占夏邑东八里庄，歼灭顽军一个支队。两仗的胜利打乱了顽军的作战计划，扩大了西进主力作战的回旋余地，确保了前后方的联系。不幸，在八里庄战斗中，彭雪枫亲临前线中弹牺牲。中共中央军委当即任命张爱萍为四师师长，提升九旅旅长韦国清为副师长，代替彭雪枫指挥西进部队。冀鲁豫军区为配合新四军西进，亦于9月下旬至10月中旬发动对耿继勋、刘瑞岐等顽军的进攻，歼灭五千余人，控制了丰（县）沛（县）铜（山）砀（山）之间广阔地区。水东军分区部队也积极向东进攻，进展至柘（城）宁（陵）地区。至此，新四军与冀鲁豫八路军的联系基本上打通，为最后粉碎顽军的进攻和打通睢杞太地区的联系创造了条件。
王毓文为恢复丧失的豫皖苏边的阵地，于10月中旬起再次纠合三个师另六个纵队兵力，在耿继勋、刘瑞岐残部配合下，向萧、永中心区进攻，妄图沟通陇海铁路南北的联系。新四军军部决定将第三师彭明治七旅西调，与四师组织联合指挥部，以韦国清为指挥，彭明治为副指挥，统一指挥两师部队，以打破顽军的进攻。韦、彭根据敌情作了如下部署：以四师和七旅共计七个团，采取防御手段，迟滞顽军的进攻，伺机集中主力歼灭其一部；由赵汇川指挥萧县独立旅、萧铜独立团阻击南下的耿、刘两部顽军；由张太生指挥游击支队，待王毓文率部渡过涡河北犯时，向其侧后挺进，牵制其行动；电冀鲁豫军区派部队配合作战。
10月14日，王毓文率骑兵第八师、暂编第十四师、暂编三十师及地方纵队一部，由涡阳、蒙城分两路北犯，苏北挺进军刘子仁部亦乘机由永城以西东犯。韦国清、彭明治决定首先歼灭刘子仁部，再集中兵力歼灭王毓文部。刘子仁闻风逃走，而王毓文恃其兵力强大，却节节进逼。韦、彭遂以张震第十一旅在永城东北保安、芒砀、奶奶等山地构筑阵地坚守，以第七旅和滕海清九旅一部及骑兵团为机动部队，等待王秉璋援军到达，从顽军背后截击，全歼进犯顽军。自19日起，在两天的守备战中，连续打退敌人的进攻。20日夜，韦、彭派小部队向王毓文指挥机关袭扰，王毓文误认为新四军大举出击，惊慌失措，全线动摇，纷纷后撤。第二天清晨，韦、彭发觉敌已逃走，立即指挥部队追击，在永城西酂阳集抓住一个团予以歼灭后，直逼涡阳城下。接着又转兵攻占龙山集，再歼暂编三十师一部，然后又集中主力一部，全歼盘踞在宿南地区的一个纵队，粉碎了王毓文指挥的大规模进攻。
新四军四师在西进四个月中，总计歼灭敌顽伪一万三千余人，拔除据点三十六处，控制了东起津浦铁路，西至商亳公路，北起陇海铁路，南迄涡河的广大地区，基本上恢复了原豫皖苏边区，建立起新四军在西线战略反攻的前进阵地。
1944年冬，日本侵略军在攻占湖南、广西的同时，派遣海军攻占了温州、福州等东南沿海城市。中共中央为了迎击国民党必将在抗战胜利后发动的内战，除派王震三五九旅南下赣粤桂边，发展华南外，复决定新四军派部队南渡长江，首先发展苏浙皖边与浙江沿海，然后根据日军进攻情况，争取全面控制苏、浙、皖、闽、赣五省，以便在举行战略反攻时处于有利地位，并能占领南京、上海、杭州、芜湖等大城市，向东南发展。这时，以苏北为中心的各个抗日根据地已进一步扩大和巩固，武装力量亦获得了很大发展。主力部队已达到二十八万八千余人，经过几年与敌伪作战，战斗力亦大大提高。中共中央在决定新四军西进与南下的作战任务时确定以南下为主，为此对新四军南下作了如下部署：以粟裕第一师主力和谭震林六师王必成第十六旅担负南进任务，沿宁杭公路向东南伸进，造成与浙东打通联系的战略形势。何克希浙东游击纵队除依托四明山逐步向南发展外，着重加强金华、义乌、兰溪、桐庐等地游击战，接应由苏浙边南下的部队。浙南游击队向浙、闽交界沿海敌后发展。同时还指示从第一、第二、第三师抽调第二、第三批南下部队待命南下。随后中共中央军委决定成立苏浙军区，以粟裕为司令员，谭震林为政治委员。
皖南事变后，江南新四军处于敌顽伪的不断围攻之中，处境极其困难。苏南为顾祝同第三战区联系苏北韩德勤顽军的通道，尤为顽军进攻的重点。谭震林率领以江南指挥部所属游击部队组建的第六师，坚守根据地，阻止蒋、顾顽军北渡长江，不断遭受冷欣指挥的顽军和戴笠忠义救国军的围攻。苏南又邻近汪伪的首都南京和财源重地上海，日本侵略军为支持汪伪政权，亦不断派兵向根据地进行"扫荡"和配合伪军"清乡"。因此苏南根据地面临极为严重的斗争局面。第六师参谋长兼十六旅旅长罗忠毅、旅政治委员廖海涛于1941年11月28日，在溧阳塘马被日军包围，光荣牺牲。
1942年冬，王必成率一师第二旅渡过长江，到苏南建立新十六旅，加强了苏南斗争的力量。经过三年多的艰苦斗争，六师不仅巩固了苏南根据地，且开辟了郎（溪）广（德）和长兴外围地区，为大军南下开辟了前进阵地。
与此同时，中共中央在皖南事变后，于1941年2月，指示华中局加强对浙东、闽浙赣边地方党的领导，准备条件成熟时向这些地区发展，创立游击根据地。当年4月，日军进犯闽浙沿海，浙江东部城市沦陷敌手。中共苏南区党委立即指示浦东特委组织力量，向浙东敌后发展。当时浦东特委有两支武装，一支为坚持黄浦江东岸地区斗争的淞沪游击第五支队，一支是借汪伪军第十三师掩护发展的部分武装。5月，特委决定第五支队渡海向浙江三北地区（余姚、慈溪、镇海三县）发展。6月初，特委又发动伪十三师中由中共控制的武装举行起义，开赴浙东敌后。两支共计三百人枪的武装，在浙东地方党领导下，开展统一战线工作，发动人民保卫家乡，至10月在三北地区成立了政权性质的办事处，同时以一部向姚江南岸发展，在浙东敌后站住了脚跟。
1942年5月，日军发动浙赣路战役，国民党第三战区顾祝同指挥的部队战败退入内地，日军迅即控制浙赣路沿线和温州、丽水沿海地区。中共浦东特委随即组成南进支队，越过曹娥江向会稽山区挺进。为了发展浙闽沿海的大好形势，中共华中局派谭启龙、何克希率一批干部前去，加强与统一地方党与军队的领导。7月，正式建立中共浙东区党委和三北游击司令部，将部队整编成三、四、五三个支队，作为巩固三北，发展四明、会稽的基本力量。另组成一支精干武装坚持浦东斗争，保持中共在上海外围的抗战阵地。经过三年与敌顽伪艰苦的战斗，主力部队发展到二千三百人，先后建立起三北、四明、会稽、浦东等四个行政区和十四个县级政权。1941年1月，将部队整编为新四军浙东纵队，以何克希为司令员，谭启龙为政治委员。
此外，在浙南和闽北，当日军发动对沿海进攻时，中共地下党组织也纷纷拉起武装，开展游击战争，为新四军向浙闽沿海发展作了准备。
新四军军部接受派兵南下任务后，即以第一师的第四团、第七团、特务一团及地方干部三百余名，于1944年12月中旬随粟裕由苏中南下。翌年一月中旬，南下部队与王必成第十六旅在苏浙边长兴地区会合。粟裕、谭震林当即将部队进行整编，以第十六旅为第一纵队，王必成为司令员；浙东游击纵队为第二纵队，何克希为司令员；以南下部队为第三纵队，陶勇为司令员，每纵辖三个支队（团）。随即确定进军部署：第一纵队进至安吉、递铺以东，余杭以北，控制莫干山及杭（州）嘉（兴）湖（州）敌后地区，建立前进基地；第三纵队以两个支队进至誓节渡、广德、泗安以南，配合第一纵队行动，以一个支队在广德、泗安公路南北地区掩护后方交通；第二纵队除继续巩固四明山地区外，逐步向西发展，策应主力南进作战。
2月12日，王必成率第一纵队向敌后挺进，粉碎安吉、梅溪等地出扰之敌，控制了武康、德清两城，开辟了莫干山地区；同时，第三纵队第七支队亦进至广德以南地区。顾祝同命令陶广指挥陶柳第二十八军和忠义救国军等五个团的兵力，向第七支队发起进攻，以阻止新四军前进，陶勇率第三纵队在第一纵队配合下，于14日发起反击，经五天激战，歼顽一千七百余人，解放孝丰县城，控制了天目山北部地区。
顾祝同乘新四军立足未稳之际，复命陶广率挺进军十二个团于3月1日向孝丰猛攻。粟裕、谭震林决心固守孝丰，命令王必成、陶勇率部于6日起反击，经连续战斗，至27日再次粉碎顽军的进攻，歼敌一千七百余人，乘胜占领了东、西天目山，解放临安县城。经过两次反顽军战役的胜利，新四军控制了浙西纵横各一百余公里，包括十个县的地区，解放人口一百数十万。为开辟新区为根据地，中共浙西区党委派大批干部下去宣传各项政策，建立工、农、青、妇群众抗日团体，进一步建立起天南、天北两个地委、专署和杭、嘉湖工委及八个县的抗日民主政权，并以主力一部为骨干，组建起地方抗日武装，初步建立起浙西抗日根据地。这时，为了支援南下部队，中共中央又决定由新四军一师抽调叶飞的教导旅和地方干部数百人，由叶飞率领于4月到达苏浙地区，编为第四纵队，由廖政国为司令员，叶飞任军区副司令员。
为配合苏浙军区主力向浙东南发展，何克希、谭启龙除派金（华）萧（山）支队西进加强富春江以南地区斗争外，主力则依托四明山，逐步向西发展，连续击溃顽伪军，争取挺进军第五纵队起义，解放上虞县城，西渡曹娥江发展到嵊县西北地区，进一步巩固了四明山区根据地。浙南游击队在瓯江以北开展游击战，发展到五六百人，建立起小块游击根据地。福建地下党这一时期也建立了闽南、闽赣、闽浙赣边区党委及闽东、闽北等地委，并在各地发动了游击队，迎接新四军。
顾祝同在浙西发动两次进攻被粉碎后，1945年夏，乘日军主动撤出浙赣路一些据点的时机，再次调集重兵，准备向天目山地区大举进攻，企图占领临安、孝丰，歼灭苏浙军区主力后，再进攻莫干山、郎溪、广德地区，压迫新四军退出江南。粟裕、谭震林为确保浙东与苏南的联系，于5月29日以三个支队的兵力击溃富春江以北的顽军段霖茂第七十九师，攻占新登城，接着又击败美械装备的突击第一纵队等十个团的反扑，共歼顽军二千二百余人。但顽军又不断增加援兵，为保持主动，乃于6月4日撤出新登，8日又主动放弃临安。
为寻求苏浙军区新四军主力并与之决战，顾祝同集中十四个师，四十二个团共计六万六千余人兵力，组成左右两个"进剿兵团"，向新四军大举进攻。粟、谭掌握的新四军只有三个纵队、十个支队，共约二万余人，不仅数量和装备远逊于顽军，而且粮食又极端困难。为寻找歼敌战场，乃于6月16日撤离天目山地区，向孝丰地区集结。顾军指挥官陶广错误地判断新四军北移为"溃退"，分兵向孝丰急进。其左兵团（辖第五十二师、独三十旅及一四六师一部）自於潜、宁国之线向东北进攻，右兵团（辖突击第一、第二纵队、第七十九师）由临安向北进攻，第二十八军、忠义救国军等进攻天目山。粟、谭根据顽军进攻态势，决定集结兵力在孝丰附近歼灭进犯顽军一部，以粉碎其进攻。遂以三个支队担任孝丰正面守备，迟滞顽军前进，以七个支队隐蔽于孝丰西北地区，捕捉战机，予以突击。陶广兵团进至孝丰以西的西圩市、百步山地区，已突击到新四军孝丰外围阵地附近；右兵团始进至孝丰东南港口地区，两个兵团东西相距约二十公里。至此，各个击破顽军的时机已到。粟、谭当即确定先攻歼顽军左兵团，再视战局发展扩张战果。6月19日夜，粟、谭集中六个团的兵力向顽军左兵团突击，经一昼夜激战，一举歼灭顽军第五十二师主力及独三十三旅一部于孝丰以西的西圩市、新桥头、百步山地区。正当新四军与顽军左兵团在百步山区酣战之际，顽军右兵团亦向孝丰城东南、以东及东北外围的新四军阵地展开了猛攻，妄图抢占五峰山制高点。新四军坚守阵地，打退了顽军七十九师的数次猛扑。粟、谭指挥七个支队歼灭顽军左兵团后，立即调转兵力围歼顽军右兵团。21日，粟、谭以王必武第一纵队经大竹杆、山坞迂回切断顽军后路，陶勇第三纵队经孝丰东北向顽军右翼迂回，廖政国第四纵队经孝义城向顽军正面突击，将顽军右兵团包围压缩于孝丰城东南草明山、白水湾、港口等狭小山谷地区内。粟、谭指挥部队大胆穿插分割，坚决勇猛冲杀，与顽军展开激烈搏斗。经两昼夜恶战，至23日将陈沛顽军右兵团大部歼灭，共计歼灭顾祝同顽军突击第一纵队少将副司令以下六千八百余人。
粟裕率新四军返回江南，经过三次反顽战役的胜利，巩固了苏南，开辟了苏浙皖边，打通了浙东的联系，推动了浙南和福建沿海游击战争的发展，扩大了新四军在江南实施战略反攻的前进阵地，初步完成了中共中央交给的发展东南的战略任务。
二新四军挺进豫皖苏浙战役敌我双方战斗序列
（一）新四军方面苏浙军区
司令员粟裕副司令员叶飞参谋长刘先胜政治委员谭震林政治部主任钟期光第一纵队司令员王必成政治委员江渭清第二纵队司令员何克希政治委员谭启龙第三纵队司令员陶勇政治委员阮英平第四纵队司令员廖政国政治委员韦一平。
（二）国民党军方面
国民政府军事委员会第三战区战区司令长官顾祝同副长官刘建绪唐式遵左兵团指挥官陶广第五十二师师长张乃鑫第一四六师师长戴传薪独立第三十三旅旅长曾振右兵团指挥官段霖茂第七十九师师长段霖茂突击第一纵队长罗觉元突击第二纵队长魏人鉴第二十八军军长陶柳第六十二师师长刘燻浩第一九二师师长王■忠义救国军总指挥周伟龙。
