1927年9月20日，毛泽东、卢德铭率工农革命军离开文家市，沿罗霄山脉南下，寻找新的落脚点。
这是一个革命的低潮时期，艰苦的生活自不待言，更可怕的是，失败的情绪严重地笼罩在这些曾经为工农浴血奋战的士兵面前。一些人动摇了，离队了，逃跑了。9月24日，部队到达江西萍乡芦溪，又有一部分人离开了部队。第二天，部队离开芦溪时，又遭到国民党军的袭击，总指挥卢德铭牺牲。
部队继续往南走，然而离队的现象越来越严重。原来一个师四、五千人的兵力，此时已不足千人。师长余洒度情绪也很消沉。
部队也中弥漫着一股消沉的情绪，许多知识分子和旧军官出身的人，看到失败似乎已成定局，纷纷不告而别。有些小资产阶级出身的共产党员，也在这时背弃了革命，走向叛变或者消极的道路。一营一连的一个排，就在排长带领下，利用放哨的机会逃跑了，并且带走了所有的武器。那时，逃亡变成了公开的事，投机分子们互相询问：“你走不走？”“你准备到哪儿去？”这真是一次严重的考验。
怎么办？应该怎样保存好这支革命队伍，中国革命道路究竟应该怎么走？9月29日，部队到达江西永新县的三湾村。毛泽东决定对部队进行整编。当晚，毛泽东召开前委会议，提出他反复酝酿的整编方案。由此，开始了著名的“三湾改编”。
三湾改编的主要内容，一是把部队由一个师缩编为一个团，称为工农革命军第一师第一团。团长陈浩。下辖第一、第三两个营，此外还有军官队、特务连和卫生队。缩编后，部队的机构、人员虽然减少了，但却精干了，便于实行机动灵活的指挥。
确定“支部建在连上”的制度，是三湾改编的又一重要内容，部队中的大量逃亡现象，使毛泽东深深感到，武装必须掌握在坚定的革命者手里，要做到这一点，必须要有一个坚强的组织作为核心，坚决地贯彻党的指示，而秋收起义的部队，一个团才建立一个党支部，因而党组织不能有效地抓住士兵。为此，毛泽东认为，只有把党支部建在连上，才能保证党对起义部队的领导。改编中，班、排都建立了党小组，各连建立了党支部，营团建立了党委，整个部队仍由党的前敌委员会领导，经前委任命，团、营、连三级均设立了党代表，负责领导所属部队党的工作和政治工作。前委决定，凡属部队的一切重大问题，均须经党组织集体讨论决定。“支部建在连上”，这是毛泽东创立的一个极其重要的建军思想。此后，它成为保证党对军队绝对领导，保证军队革命性质的一项基本制度。一年多以后，毛泽东在总结井冈山斗争的经验时说：“红军所以艰难奋战而不溃散，‘支部建在连上’是一个重要原因。两年前，我们在国民党军中的组织，完全没有抓住士兵，即使在叶挺部也还是每团只有一个支部，故经不起严重的考验。”
三是确立了军队内部的民主制度。工农革命军中的一些干部，来源于国民革命军的军官，旧军队的军阀主义作风仍然比较严重地存在着。比如，官兵待遇不平等，官长打骂士兵等。三湾改编时，毛泽东提出，官长不准打骂士兵，建立士兵委员会，军官接受士兵的监督，经济公开。这些民主措施，今天在人民军队中已经习以为常，但在当时，它却把这支工农军队和旧式军队从本质上区别开来。只有真正人民的军队，才能实行这些制度。
三湾改编，是毛泽东创立一支新型人民军队的开端。党对军队的绝对领导，军队内部的民主制度，使这支军队开始以一个完全崭新的面貌出现，这是一个带有根本性问题的解决。否则，旧式军队的习气，农民的自由散漫作风，都不可能得到改造，其结果即使不被强大的敌人消灭，也只能变成流寇。
第二天，毛泽东在全体官兵的会上，发表讲话。他头上蓄着长久未剪的头发，身上穿着一件旧棉袄，腿上打着绑腿，脚上穿着草鞋。连日来的征战，使他显得有些疲乏，但却仍然十分精神。他说，现在是官多兵少，枪多人少，不利于作战。因此要整编。要建立后方，放下担子，轻装上阵。多余的军官全部上军官队，伤病员归卫生队管理，其余同志编入部队。他又说，一路上有些人不辞而别了。要走最好打一个招呼。现在宣布，愿留则留，不愿留下的可以请假回去。凡回去的根据路途远近发给路费。希望走的同志回到家乡要坚持革命。将来如果愿意，还可以再回来。
毛泽东说到这里时很动情。许多战士听了，也一阵阵鼻子发酸。果然，后来有的战士走了以后，因为遭到地主武装的打击，半路上又跑了回来，并且带了十几个青壮年参加了革命队伍。
最后，他说：“同志们，现在敌人只是在我们后面放冷枪，没有什么了不起……大家都是娘生的，敌人他有两只脚，我们也有两只脚……贺龙同志两把莱刀起家，现在当了军长，带了一军人。我们不只有两把菜刀，我们有两个营，还怕干不起来吗……你们都是起义出来的，一个可以当敌人十个，十个可以当他一百。我们现在有这样几百人的队伍，还怕什么，失败是成功之母，没有挫折和失败，就不会有成功和胜利。”
听着毛泽东的话，战士们的情绪开始活跃起来。队伍解散以后，人们纷纷议论着：“毛委员不怕，我们还怕什么？”“贺龙两把莱刀能够起家，我们几百人还不能起家吗？”
在三湾改编期间，毛泽东还派人送信到宁冈，和占领井冈山北麓茅坪的大革命时的农军首领、共产党员袁文才取得联系。袁接信后，派他的文书、原武昌农讲所学员陈慕平为代表，随同宁冈县党的负责人一起，到三湾会见了毛泽东。毛泽东进一步了解了情况后，向他们说明工农革命军的来意，希望同袁文才合作，共同开展革命斗争。
宁冈是深山之中的偏僻小县，古城曾经是县治所在地，四面环山，只有一条短短的石板路，萧条破败，人烟稀少。为了确定革命的落脚点，10月3日，部队离开了三湾，当日到达宁冈县古城。毛泽东在这里召开了前委扩大会议。参加会议的有湘赣边秋收起义的前委委员，工农革命军营以上干部，宁冈党的负责人，以及袁文才的代表共四十余人。会议连续开了三天。毛泽东首先发言，总结秋收起义的经验。他指出，秋收起义军事指挥有缺点，军事上我们失利了，但战略上不能说我们失败了。现在我们人少了，但是很精干，大有希望。我们现在是作战略上的退却，来到敌人力量薄弱的农村。广大的农村是海洋，我们是鱼，农村是我们休养生息的地方，是我们人民的天下，不是敌人的天下。会议着重研究并决定在罗霄山脉中段建立以宁冈为中心的革命根据地问题，并决定对袁文才、王佐的部队采取团结、改造的方针。
会后，毛泽东带了少数随从人员，在大仓村会见了袁文才。在一家吊楼上，毛泽东边吃花生瓜子，边和袁文才亲切地谈话，赞扬他反抗豪绅地主的斗争精神，希望他做好王佐的工作，从上午10点直谈到日落西山。由于袁部人多枪少，毛泽东决定赠送给他们100支枪。袁文才不仅表示要竭尽全力帮助工农革命军，而且馈赠给工农革命军七、八百块大洋。
10月7日，部队由古城继续南下。当日到达茅坪，在这里建立了医院和留守处。听说要在这深山里安家，又有十几个人“请长假”，原第三团团长苏先骏也脱离部队。10月中旬，毛泽东率部队到达湖南酃县水口。在这里，毛泽东发展了一批在艰苦斗争中经受住考验的先进分子入党。10月23日，部队在遂川大汾遭到当地反动武装三、四百人的袭击，混乱中，担任前卫的第三营与团部失掉联系，转移到桂东县鹅形一带开展游击战争。毛泽东带领团部和一连，收集失散人员，转移到井冈山西面荆竹山下，和王佐部队取得联系后，准备上山。
毛泽东关于“上山”的主张是符合当时形势的。是对付蒋介石的武装的反革命的唯一可行办法。
如果说在这以前毛泽东同蒋介石的斗争，是“主义”之争，是党内的“领导权”之争。那么从这时开始，就是军事之争，政治之争，更是两党之争。
