刘少奇和邓小平两人在11月和12月公开露了几次面。但此后，他们便不再露面。对刘来说是永远地消失了。对邓来说，在公开场合露面，是6年多以后的事情了。在当时，外界根本不知道他们两人的真正遭遇。直到20世纪80年代后，人们才有可能重新了解他们当时的遭遇。
1967年1月至8月，刘、邓两人在理论上都还是自由之人。但是，他们只能躲在中南海的围墙之内，甚至即使躲在中南海内也免不掉受到骚扰。1966年12月，刘少奇和他的妻子王光美身边的一些服务人员，在他们家中对他们夫妇举行了一次斗争大会。在街头，红卫兵不断示威声讨他们，官方和红卫兵的报纸更是不停地刊登诋毁他们两人的文章。刘少奇是他们最主要的攻击目标，并被指责为是“中国的赫鲁晓夫”和“中国第一号走资派”。在红卫兵的文章中，把邓小平称作“中国的第二号走资派”，但官方的报纸则没有这样说。
攻击邓小平和刘少奇的运动由江青、康生、陈伯达与张春桥等人主持。张春桥是江青在上海的老朋友。
他们都一样的阴险毒辣。张组织了第一次大规模的、公开的反对刘、邓的示威游行，并号召游行者“痛打落水狗”，“让他们遗臭万年”。4月，江青在一次红卫兵集会的演讲中，罗列了邓的“十大罪状”。对刘、邓的这场斗争起起落落，完全要视当时正在进行中的一场权力斗争的情况而定。这场权力斗争在1967年年初爆发，并且在那一整年当中弄得党和军队鸡犬不宁。每当激进派觉得受到威胁—3月间就发生了这种情况，在由周恩来主持的党的一次会议上，一批副总理和老元帅对激进派发动了面对面的严厉抨击；或是当他们觉得可以完全放手攻击敌人时，就像7月间，毛泽东离开北京前往南方视察时，这场斗争就更为激烈。
毛扮演的角色仍不很确定。从春天开始，他当然赞成把刘的威信彻底搞垮，因为，在他看来，刘是党和国家的潜在危险。但他对邓的态度不那么极端，因为邓从来没有被列入接班人的人选。同时也因为他喜欢邓的好斗性格，哪怕是反对他本人的。数年之后，邓本人也承认：假如没有毛的保护，林彪和江青会加害于他的。
江青指控邓小平的十大罪行，其实可以归纳成四条：邓小平看不起毛泽东；反对改革高等教育、文学与艺术；试图取消农业集体化；1966年夏实行“资产阶级专政”和“白色恐怖”。她引用邓小平一些讲话和谈话来支持她这些指控，但事实上，她选得并不很高明。当江青的这些指控讲话发表在红卫兵的宣传品上时，有些读者肯定会感到，这些话用来形容江青本人恐怕最合适不过了。
有些人老爱批评别人来使自己出风头，或踩在其他人的肩膀上爬上去。他们不注意别人的本质，而只是要找别人的缺点（小辫子），而使自己达到成功的目的。
有组织地批刘、邓的运动，在1967年夏天达到最高潮。7月间，数以千计的红卫兵首次获准进入中南海，在他们的住宅内举行“批斗大会”，批斗他们本人和他们的妻子，并且强迫他们的子女在一旁观看。
在一次批斗大会上，邓小平被迫跪在地上，两只胳膊被反扭到背后。红卫兵们称这种姿势为“喷气式”。
红卫兵们还高喊，应该给邓小平戴上帽子，拉到大街上游行示众。此时，邓小平一定很担心被拖出中南海，在斗争大会上遭到羞辱，也许还会被毒打一顿，然后被关进狱中。就像在1966年被斗倒的彭真及其他领导人一样。
然而，邓小平逃过了这样的厄运。他被赶出他的住宅，被软禁到一栋较小的房子。本来跟他同住的三名子女被赶走了。但他的妻子卓琳和继母夏伯根获准与他同住。对他的批斗也在这时候逐渐冷却下来。
刘少奇的命运要悲惨得多。1967年5月初，在毛泽东默许下，成立了一个调查刘少奇问题的“专案组”。
这个小组的控制权很快就落入江青和康生手中。1968年10月，这个小组提出一个报告，把他说成是一个“叛徒、内奸、工贼”。1968年10月，中央委员会全体会议通过了这份报告，刘被撤销一切职务，并被开除出党。
大约一年之后，由于得不到药品和医治，他因肺炎死在一家省监狱的地板上。他的夫人王光美于1968年被关进监狱，在狱中待了八年。
就在这次中央委员会上，邓被撤销了党内和政府部门的一切职务，但保留了他普通党员的身份。这一定是毛泽东出面干预的结果。这样的打击对他来说已经够大了。但接着他又遭受了另一个更大的打击。
9月，他的大儿子邓朴方从北京大学的一幢楼房的顶上跳下来，伤得很重。其时，邓朴方是北大物理系的一名学生。关于此事的真相有若干种说法，但有两点是一致的。第一，出事前，邓朴方正遭受一群红卫兵的折磨。第二，当有人大胆出面把摔落在水泥地上的邓朴方救起，送到北大医院时，他被拒绝接收入院。
等到他最后被转送到一家外科医院时，已经无法挽救他腰部以下完全瘫痪的命运。出院后，他被送到北京郊区一家残疾人福利院。在这段时间内，他躺在床上，还得以用金属丝编制篮子为生。这种生活一直持续到1971年夏。
1969年10月20日，在被整整软禁了两年之后，邓小平、卓琳和夏伯根突然被赶出中南海，在军队的监护下，被发配到江西的省会南昌。这是林彪的一项阴谋，目的是要把在“文化大革命”中被斗倒的一些老干部和几位老元帅送到远离北京的地方。
林彪的这项行动，和他的总参谋长黄永胜在10月18日发布的一项命令有密切关系。这项命令宣布全国进入紧急状态，命令军队进入最高警戒。黄当然是根据林彪的指示下达这项命令的，但林彪事先并未和毛泽东商量，直到10月19日，林彪才打电话向毛泽东报告这项命令。毛认为他或许是“发昏”了。毛泽东反对林彪擅自发号施令，也反对在当时发生任何军事意外，因为周恩来当时即将在北京和苏联总理柯西金展开会谈，讨论中苏边界的紧张情势（自从3月间中共和苏联在乌苏里江的珍宝岛发生冲突以来，中苏边界沿线连续发生多次小冲突）。
毛泽东的反应令林彪大吃一惊，但并未因此中止他把邓小平及其他一些老将军以及政治家赶出首都的计划。“文化大革命”结束后，对林彪行为的一项指控，就是他当时是在策划和发动武装政变。
如果中苏边界真的爆发严重冲突，第一个倒霉的将是周恩来。幸好，中苏边界并未发生冲突，周恩来才有能力和机会照顾被流放的邓小平。否则，如果全由林彪手下处理，那邓小平将会很惨。周恩来这时候在党内的地位低于林彪，所以，他无法反对林的遣送命令。但是他打电话给江西省的党的领导，要他们在南昌附近找一个地方安顿邓小平和他的两位家人，而不是按照原订计划把他们弄到山区去。他还安排跟林彪并不很亲近的地方军事人员保护邓小平，同时也是在周恩来的安排之下，邓小平才能带着一小部分书籍搭机飞往南昌。
在江西，邓小平、卓琳和夏伯根住在一幢楼的四个房间里。这房子原是一位步兵学校校长的居所。
他们能得到公家配给他们食物和燃料，但在其他方面他们必须自己照顾自己。
煮饭做菜的工作大部分由夏伯根负责，邓小平亲自劈柴、敲碎煤块，用来做饭和取暖。邓还要做大量家务。卓琳刚来时身体不适，不能帮邓做许多事，直到天气转暖，其健康状况有所改善后，开始接下邓小平和夏伯根所做的部分家事，同时跟邓小平在屋前的空地上种些菜。这段时间，她还要和邓小平一起，“将军楼”是一栋二层小楼，邓小平夫妇住在楼上的这间套房里。到距他们所住的地方约一里远的一家农机修理厂劳动半天。
对三个流放者而言，生活的艰苦可想而知，但警卫人员并没有干扰他们。而邓小平则从阅读他所带来的书籍中得到很大的慰藉。根据他的官方传记，在江西的这三年当中，他读了“大量马列着作和其他许多古今中外的着作”。
从他后来回到北京后所发表的讲话可以看出，这段生活经验对他的帮助很大，因为这些讲话中充满对中国与外国历史的精辟见解，这是他以前的讲话中所没有的。
负责看管他们的警卫人员，跟他们住在同一栋房子里。这些警卫当然知道他们是什么人。他们前去劳动的农机修理厂的厂长当然也知道他们是何许人。但厂里的一般工人刚开始似乎并不清楚他们是谁。但他们一定很快就发现，每天早上8点由警卫陪同到工厂上班，中午再由警卫陪着离开工厂的这个老头子（邓小平这时已经65岁）和这位中年妇女（卓琳这时是53岁），原来是以前的党总书记和他的爱人。
1971年夏天，邓朴方获准离开北京，前往南昌与他的父母团聚。从他瘫痪以来，邓小平夫妇一直没有看到过他。因此，当他们看到他的情况时，一定相当惊骇。此后，他们夫妇和夏伯根就负起照顾邓朴方的责任，每天必须把他从轮椅上扶起来洗漱、上厕所，还要扶他上床。在邓朴方来到之后不久，他们最小的女儿邓榕（家人都喊她毛毛）和儿子邓质方（他在西北插队）也来看他们。邓质方很快又走了，但毛毛则获准留下来。
与此同时，“文化大革命”开始发生变化。
1969年夏天，也就是林彪在党的九大上成为毛的指定接班人几个月后，毛泽东开始对他失去耐心。
因为林彪并未积极改造党和政府，而这是毛当时非常重视的一项工作。林的野心是想继刘少奇之后出任国家主席，而毛希望这个职位暂时空着。林还想干预外交事务。毛这时和周恩来正在策划恢复与美国的来往，并促成尼克松总统在1972年2月来北京访问。
毛泽东决定削减林彪的势力。第一步就是发起一个运动，打倒陈伯达。因为陈很轻率地就使自己成为林要获得国家主席职务行动的干将。毛采取名为“搬石头”、“渗沙子”和“挖墙角”的措施，迫使林彪在政治局的军队党羽们做出自我检查，因他们与陈关系密切。毛还在几个重要的政治和军事委员会上削弱林的支持力量，并改组了北京军区的领导班子。
面对毛泽东的凌厉攻势，林彪要求他在空军任参谋的儿子策划刺杀毛泽东的计划。这项计划代号为“571工程”，因为读起来很像是“武装起义”。
预定执行刺杀行动的是一群高级军官，但不是最高级的军官。他们大部分来自空军。这项计划未能付诸实施。经过毛、周与林彪及其家人的斗争，最终死的不是毛。1971年9月13日清晨，林彪所搭乘的一架军用飞机在外蒙古沙漠坠毁，他本人、他的妻子叶群、他的儿子，以及机上另外7个人全都死亡。
在江西，当邓小平听说1971年10月1日国庆节北京不举行游行、毛和林均未公开露面时，他意识到国家一定发生了危机。11月5日，在一个政治情况通报会上，他和卓琳才知道林彪死了。刹那间，他大概清楚地认识到此事对他本人的意义。他的主要政敌被除掉了，而他的主要朋友周恩来的地位必然更为稳固。毛仍是所有高层政治权力的中心，他现在不得不为将来制订新的计划。不久，邓通过毛以前的警卫员、现任政治局委员和8341部队（该部队负有保卫党的领导人的特殊任务）领导的汪东兴，写信给毛和中央委员会，要求准许他重返北京，并在北京安排工作。
邓小平和他的家人的生活情况很快获得重大改善。原来的武装警卫是“8341”派来的，住在他们的房子里，而且随时都跟在他们身边，这时被换成非武装的警卫员。
1972年4月，邓朴方获准进入北京一家设备很好的军医院就医。陪着哥哥上北京的毛毛回来后，也获准进入南昌一所医学院就读。
然而邓小平一直未收到任何回信。
因此，他在1972年8月，再次写信给毛泽东和中央委员会，再度提出回北京工作的要求。他在信中表示，他支持“文化大革命”，因为“文化大革命”揭露了像林彪和陈伯达这些人的真实面目，他细数他在过去几年来与林、陈两人交手的经过，并且提到他自己经过一番磨炼后的心境。这封信确实送到毛泽东手中，毛并且开始考虑“让他继续工作”之事。从毛的角度看，让邓小平复出有很多好处：可以增加当时党政领导班子最缺乏的行政经验，可以争取到党内同志对他的好感，因为他这时非常希望再次建立起他在党内的良好声望。同时也可以替周恩来安排一位能干又忠诚的助手。周恩来本人也一定替邓小平向毛泽东说了不少好话。但邓小平后来一再表示，决定让他复出只是毛泽东一个人的意思。邓小平如此说法，是可以理解的。
邓小平终于在1973年2月离开江西。回到北京后，他、卓琳、夏伯根和毛毛搬进朋友替他找到的一栋房子，这栋房子在中南海外面，但离中南海很近。
他很快就恢复工作。这一次他被任命为副总理，跟他在21年前从四川调进北京时所担任的是同一职位，而他的顶头上司也是同一个人，周恩来。
