新四军改编之初，全军共有10300多人，各种枪6200多支（挺）。第3支队2100多人，则只有1000多支枪，轻机枪只有6挺。
1938年1月，新四军军部在武汉筹备就绪，并从武汉迁到南昌；1月6日，在江西南昌市正式宣布成立。当时全军编为4个支队9个团。
第1支队由陈毅任司令员，傅秋涛任副司令员，胡发坚任参谋长，下辖第1、第2团。第1团由湘赣边的游击队改编，团长由傅秋涛兼任，副团长是江渭清。第2团由湘赣边、粤赣边、赣东北的游击队改编，团长是张正申，副团长是刘培善。全支队共2300多人。
第2支队由张鼎丞任司令员，粟裕任副司令员，罗忠毅为参谋长，下辖第3、第4团。第3团由闽赣边的游击队改编，团长黄火星，副团长邱金声。第4团由闽西、闽南和浙南等游击队改编，团长卢胜，副团长叶道之。全支队共1800多人。
第3支队由张云逸兼任司令员，谭震林为副司令员，赵凌波任参谋长，下辖第5、第6团。第5团由闽北游击队改编，团长饶守坤，副团长曾昭铭。第6团由闽东游击队改编，团长叶飞，副团长吴煜。全支队共2100多人。
第4支队由高敬亭任司令员，林维先任参谋长，下辖第7、第8、第9团和手枪团。第7团由鄂豫皖边区游击队改编，团长杨克志，副团长曹玉福。第8团由豫南区游击队改编，团长周骏鸣。第9团团长顾士多，手枪团团长詹化雨，这两个团是从第7、第8团抽调合编的。全队共3100多人。
此外，湖南和闽南的红军游击队改编为军部特务营，一共980多人。
新四军上述各部队主要是由以下游击区的红军游击队改编而成：
湘鄂赣边游击区：主要负责人是省委书记兼军区政治委员傅秋涛同志，整编时有1100多人，枪600余支，活跃在浏阳、平江、修水、铜鼓、阳新、大冶等地。
赣粤边游击区（亦称赣南游击区）：中央苏区被国民党部队占领后，项英、陈毅同志率部突围至赣粤边油山区，与在此地活动的李乐天部会合，一直坚持到抗战爆发。当时有700余人，300支枪，活跃在南雄、大庾、信丰、南康、安远一带。
湘赣边游击区：部队活跃在茶陵、永新、莲花、分宜、安福一带。领导人为谭余保、刘培善、段焕竞。整编时有335人，枪200余支。
皖浙赣游击区：其前身是方志敏同志所领导的赣东北（闽浙赣）苏区，1934年北上抗日先遣队在皖南失败后，余部分散在皖浙赣边区坚持斗争。三年游击战中，损失很大。抗战爆发时，仅有198人，枪75支，由李步新同志领导，活动在浙赣路以北、鄱阳湖以东的浮梁、婺源、都昌、乐平一带。
闽西游击区：原为红军独立8、9团及张鼎丞同志从中央苏区带来的部分难民武装和陈潭秋同志带来的红24师4个连队为基础，活跃在闽西南地区。三年游击战争中，在闽西南军政委员会和张鼎丞、邓子恢、谭震林等同志的领导下，粉碎了敌人的5次残酷“清剿”。全国抗战爆发时，闽西游击队共1200人，枪500余支。
闽赣边游击区：由钟德胜、胡荣桂、彭胜标等同志领导，在与党中央和邻近游击区均失去联系的情况下，坚持斗争，直到1937年底，项英、陈毅同志派陈丕显同志才与该部取得联系，约有300人，150支枪，活动在瑞金、长汀、武平、石城一带。
浙南游击区（亦称闽浙边游击区）：方志敏领导的北上抗日先遣队失败后，1935年1月闽浙赣省委根据上级指示组成挺进师，粟裕任师长、刘英任政委，向浙西南挺进，开辟了浙南游击区。抗日战争爆发后，游击队有600余人，枪200多支，仍活跃在福鼎、泰顺、平阳、瑞安、温州一带。
闽北游击区：原为黄道、黄立贵、吴先喜、曾镜冰同志领导的中国工农红军闽北独立师，后因敌人分割、封锁，部队化整为零，分散活动，出没在崇安、邵武、武夷山一带。整编时有近800人，700余支枪。
闽东游击区：原为中国工农红军闽东独立第2团，叶飞为政治委员，后与红2团、红13团合编为独立师，赖金彪为副师长，叶飞为政治委员，活动在福安、南屏、政和、松溪、庆元一带，整编时有921人，枪500余支。
鄂豫皖游击区：1935年2月间，高敬亭同志重建红28军，下辖82师和手枪团，高敬亭任军政治委员，方永乐任师政治委员，以金寨为中心，活跃在大别山区。改编时有1800余人，500多支枪。28军未到岩寺集中。
鄂豫边游击区：1936年1月，在鄂豫边区省委领导下，以3支枪起家，成立了红军游击队，领导人为张星江、周骏鸣同志。他们以桐柏山为依托，活跃在确山、信阳、南阳等地，改编时有1300余人。
湘南游击区：主要活跃着由彭林昌、谢竹峰、刘厚总领导的湘南赤色游击队，李林领导的湘南红军独立大队（后称湘粤边游击队），蔡会文、陈山领导的湘粤赣游击支队。不久，部队大部损失，余部仍坚持斗争，战斗在上犹、崇义、汝城、郴州、宜章、乐昌一带，整编时约300人。
此外，还有闽粤边游击区（又称闽南游击区）和闽中游击区的游击队。……
这些南方红军游击队由于长期遭到封锁，不仅缺衣少食，而且武器弹药也少得可怜。不少游击队员听说国共开始谈判了，都希望马上能谈判成功，就能得到新武器、新军衣。到那时，穿着崭新的军衣，使着称手的机关枪去打日本鬼子，多痛快啊！
可是蒋介石哪里会让这支部队发展起来而威胁到自己呢？
为了武器问题，周恩来直接找到蒋介石，要求蒋介石发给枪支。
蒋介石怒气冲冲地说：“现在，连坏枪也发不出了。”
宋美龄在一旁微笑，说：“来了新枪再发吧！”
对于经费问题，何应钦等人也耍阴谋。起初，叶挺等人经过详细预算，提出每月经费为16.6万元，国民政府军政部长何应钦眼睛一眯，整整勾掉了10万余元，只批准每月各种费用为6.5万元。
更为荒唐的是，当新四军要求发给1万套棉军衣时，国民党方面竟说：“新四军打游击，不需要军衣。”
周恩来一眼看穿了国民党方面的阴谋。1月20日，他同彭德怀一起给中共中央书记处的电报中说：“蒋对人、枪、钱都抓得紧，不愿我军扩大，不肯发枪加钱。”
人、枪、钱，蒋介石看做命根子。
周恩来利用各种机会同何应钦交涉。叶挺去找陈诚。陈诚尽管在前线作战失利，却又被蒋介石委任为第6战区司令长官、武汉卫戍总司令兼湖北省主席等职务。叶挺还去找顾祝同。当时，新四军所在地归顾祝同管辖。
经过一次又一次艰难的工作，新四军每月的经费也只增加到9万元。
4、 第3支队的艰难整训
新四军军部在汉口成立后仅仅过了十多天，就移至南昌。江西、福建、浙江、湖南一带部队较多，便于指挥。
南昌位于赣江下游东岸，是一个具有2100多年历史的古老城市，汉初时已为南方昌盛之地，因而得名南昌。南昌也是一个具有光荣革命历史的城市，八一南昌起义打响了武装反抗国民党反动派的第一枪，从此，革命武装似星星之火，燃遍中华大地。
然而，蒋介石很不愿意让红军游击队改编的新四军在南昌设立军部，就以国民政府军事委员会的名义，于1938年2月6日下达命令，要新四军第1、第2、第3支队集中到皖南歙县岩寺镇一带整训。
岩寺，古名岩镇，在安徽省歙县城西南约10公里的丰乐河畔，是著名游览胜地黄山的天然门户。但是，岩寺并非江西、浙江、福建、湖南、广东各省游击队之间的中心地区；江西的大庾、福建的龙岩等地的新四军，需要长途跋涉2000多里，历时一个月的行程，最近的也需要一周时间才能赶到岩寺。把岩寺作为新四军的集中地点也是一项艰难的工作。
那时候，许多新四军部队饷额不足，粮秣不济，在向岩寺集中途中，沿途不仅饱受饥馁，还受到了各地军事当局的无理阻碍，有的人由于在十多年中形成反对共产党领导的革命武装的错误思想，对新四军部队恶意造谣破坏。江南的新四军部队战胜种种困难，于4月初先后到达岩寺集中，第3支队于3月底到达岩寺，闽西南的新四军部队在4月18日才到达岩寺。4月4日，新四军军部离开南昌，向岩寺迁移。
新四军军部及3个支队全部到达岩寺后，军部机关和直属队驻岩寺，项英和叶挺等军部首长住在岩寺镇的金家大院内；1支队驻扎在潜口；2支队驻扎在琶塘、琶村；3支队驻扎在西溪南、砖桥。
新四军来岩寺集中，目的是为了接受国民党第3战区的点验及加强政治、军事训练，奔赴抗日前线，抗击日本侵略军。他们的到来，使古镇岩寺打破了以往的沉寂，呈现出一派活跃、进步的气氛。
点验，就是清点枪械数量，核定编制员额。按常理，点验是军队的一项正常工作，但是，蒋介石对新四军的“点验”是另有所图，是要削弱新四军。在国民党军队中，蒋介石常用“点验”的办法削弱非嫡系部队。抗日战争初期，蒋介石又想用“点验”的把戏来削弱共产党领导的武装力量。但是，八路军在改编中不同意国民党方面派人进行“点验”。对此，蒋介石很生气。在南京时，蒋介石当面对叶挺说：南方游击队必须派人点验。
新四军方面考虑到为了改善部队的装备，增加军饷，接受了蒋介石提出的“派人点验”的要求。
4月20日，国民党首席点验官罗卓英中将带着几十名将、校级“点验委员”来到岩寺，开始对新四军“点验”。
罗卓英，字尤青，1896年3月19日生于广东省大埔具白侯乡渔洋坪村。1919年，罗卓英考上了保定军校第八期炮科。1925年第二次东征作战时，罗卓英担任笫1师炮兵连连长。攻打惠州时，罗卓英指挥炮兵射击，摧毁了惠州城楼，使固守了两天的惠州城得以迅速攻破，立了战功。叶挺同罗卓英既是广东同乡，又是保定军校的同学和粤军时期的同事，两人比较了解。早在保定军校时，叶挺就知道罗卓英与陈诚是莫逆之交，直至发展成为陈诚派系的主要骨干和智囊人物。尽管陈诚连打败仗，但依然是蒋介石的心腹，罗卓英背靠大树来“点验”，很想在叶挺面前抖一抖自己的威风。
罗卓英虽然担任第3战区所辖第15集团军副总司令，但军衔同叶挺一样，都是中将，来到岩寺，罗卓英一眼看见身穿缀有中将军衔的草绿色将官制服的叶挺，不由得倒吸一口凉气。
点验开始了。罗卓英下意识地瞄了一眼身旁的叶挺，觉得叶挺身着那副横扎斜吊的制式武装带和黑色长筒马靴特别精神。那一刻，他想抖一抖威风的感觉飞到了九霄云外。叶挺乃北伐名将，军内军外谁人不知？与叶挺同行，罗卓英有几分心虚。
一想到蒋介石和陈诚的交代，罗卓英又打起精神对叶挺说：“老兄，你这里老、小、瘦、弱的兵员还不少呢！”说完，故意瞟了一眼那些下山不久的游击队员，摇了摇头。
叶挺微微一笑，说：“你别看战士们瘦弱，他们可是打不垮、拖不烂的英雄呀！”
罗卓英的心“突”地一跳，想到十多年来“剿”来“剿”去，还使红军游击队发展成这么一支队伍，就像挨了一记闷棍。他想了想，又说：“你们的武器残的残，旧的旧，怎么和日本人交手？”
叶挺心中一亮，马上说：“武器问题，还要靠军委会和第3战区来解决。前段时间，我多次同何应钦部长和顾祝同长官交涉，至今没有很好解决。你这次来，可要帮我们出力呀！”
罗卓英脸上挂着一丝冷笑，又问：“你了解这些士兵的素质吗？”
“我同许多战士谈过。”叶挺说，“他们大部分人都打过仗，有作战经验。他们都知道国家处于危难时期，抗日的积极性很高。”
“他们经过正规训练吗？”
“军队的训练要经常进行，可以补课嘛！”
尽管罗卓英百般挑剔，叶挺为了使部队顺利通过点验，还是尽量应酬。叶挺还为罗卓英及其随员们准备了几桌宴席。席间，罗卓英说；“新四军人多枪少，编制还要压缩呀！”
叶挺知道，罗卓英这个人权力欲很重，为了满足他们的权势欲望，叶挺表示可以按“点验”的要求作些精简，但这种精简实际上是新四军内部的整编、消化，只是瞒过了罗卓英等国民党要员。
第二天，叶挺又陪同罗卓英等人游览黄山。
黄山以其独特的风貌耸立在皖南山区，是中国名山中的一颗灿烂的明珠。明代著名的旅行家徐霞客曾经写下了“五岳归来不看山，黄山归来不看岳”的名句。黄山上，著名的72峰、24溪、3瀑、2湖，峰峰奇特，溪溪曲折，极尽天下山水之美。罗卓英曾经听说黄山以“奇松、怪石、云海、温泉”四绝闻名天下，现在，看到连绵的群峦之间布满着奇松异石，看到飘曳在峰峦之巅的云海，仿佛进入仙境一般，心中暗暗感激叶挺的周到接待。
国民党的“点验”官离开岩寺时，叶挺集合新四军机关全体军官，礼貌地欢送他们。
看到叶挺应付国民党要员的这一切安排，项英暗暗高兴。项英对战士们说：“叶军长真有办法。”
点验过后，叶挺和项英一致认为当前最急迫的工作就是对部队进行军事训练，提高部队素质和战斗力。为此，叶挺把主要精力都放在抓训练上，他拿出当年在肇庆训练独立团时的那股劲头，亲自给部队上军事课，每天都到操场上指导部队训练。
由于长期分散游击作战，新四军的指战员习惯于小部队的动作，而不熟练大部队的统一行动，养成许多不规则的生活习惯和作风，缺乏正规的战斗生活秩序，这其中就包括第3支队的干部战士们。
叶挺非常重视克服这种游击习气，从吃饭、睡觉、出操、队列训练开始抓起，天天出操，经常组织全营、全团会操。
这一下，可把游击队出身的第3支队的干部战士整苦了。过去他们在深山密林中打游击，哪有什么作息时间，也不可能有，因为要随时准备转移或战斗，愿睡就睡半天，不愿睡就扯山海经。现在，天还没有大亮，正睡得迷迷糊糊的，起床号就响了，拖拖拉拉起了床，有找不到鞋的，有来不及打绑腿的，出什么洋相的都有。
过去游击队根本就不出操，现在要天天出操，还要会操。起床拖拉了，早操迟到了，还得挨批评。过去没有统一的军装，游击队员们想穿什么就穿什么，有军装也穿得很随便；现在对着装有严格要求，军帽戴不正要批评，风纪扣不扣要批评，衣服掉了纽扣要批评，绑腿打不好要批评，出操时先要班对班、面对面检查军容风纪。
过去见了上级叫老张老李，现在要行举手礼，叫做军人礼节。过去吃饭随便，端个碗到处转，说笑也行，打闹也行；现在得以连为单位集合，全班围成一个圈蹲着，还得听值日排长的哨音才能动筷子。吃饭规定了时间，睡觉也规定了时间，一吹熄灯号，谁也不能再讲话，只能闭上眼睛睡觉。
过去丢根步枪通条，少个步枪托底板的螺丝，根本不当回事，反正也没有登记；现在可成了大事，“武器是战士的生命”，损坏武器是要受处分的。
队列训练更是叫人受不了，一会儿向左转，一会儿又向右转，齐步走，正步走，一练就是一上午。部队指战员绝大多数是农民出身，种庄稼可以干一整天也不觉得累，队列训练却让他们吃不消，人人都喊腰酸背痛。
