习仲勋在中央书记处联系干部工作，领导了中直机关机构改革和参与了省部级领导班子的配备。这一时期，党和国家面临着拨乱反正的艰巨任务，精简机构、压缩编制、新老干部交替、调整领导班子、平反冤假错案等工作千头万绪，涉及面广，难度很大。习仲勋以高超的马列主义水平、坚定的党性原则和高度负责的精神，坚定不移地贯彻执行党的干部路线和干部政策，不顾年事偏高的身体状况，夜以继日地工作，为理顺工作机构，加强党的建设，配备好省部级领导班子，做了大量的卓有成效的工作，为党和国家新老干部交替做出了重要贡献。
一九八二年九月一日，中国共产党第十二次全国代表大会在北京开幕。习仲勋出席大会，并当选为大会主席团成员。
这次大会上，邓小平提出了“建设有中国特色的社会主义”这一划时代的命题，指明了中国改革开放的前进方向。胡耀邦代表第十一届中央委员会做了题为《全面开创社会主义现代化建设新局面》的报告，提出到二十世纪末我国经济建设的奋斗目标，即在不断提高效益的前提下，力争全国工农业总产值翻两番，从一九八○年的七千一百亿元增加到二○○○年的二点八万亿元左右，人民物质文化生活达到小康水平。
习仲勋在这次会上当选中央委员，在随后举行的中共十二届一中全会上，当选中央政治局委员、中央书记处书记。对于这个安排，习仲勋在大会召开之前就向中央提出退出新一届中央书记处的请求，说自己年近六十九岁，不宜再担当此任，建议另选年富力强的同志担当重任。九月一日，即十二大召开的当天，拟任中央书记处书记的胡启立提出，中央书记处和中共中央办公厅日常工作非常繁重，他又比较生疏，过去工作中习仲勋对他帮助很大，建议习仲勋仍留书记处。中央同意了胡启立的意见，仍把习仲勋作为中央书记处书记候选人。九月十二日，习仲勋当选为中央书记处书记。
中共十二大结束后不久的九月十七日，中央书记处会议决定由习仲勋协助胡启立负责书记处常务工作。九月三十日，胡耀邦主持中央书记处会议，明确了书记处的分工，习仲勋除协助胡启立工作外，负责联系干部工作，负责统一战线，民族、宗教方面的动态和方针政策的研究工作。在此后的时间里，他与胡启立一起协助中共中央总书记胡耀邦处理党和国家的重大事务。习仲勋在中央书记处工作期间，年近七旬，但为了党和国家的事业，不辞劳苦，忘我工作，往往到深夜。中央书记处大到重大问题的协调处理，小到文件、简报的审阅把关，无不浸透着他的汗水和心血。
中央书记处这一时期的一个工作重点，就是改革党和国家的领导体制及干部制度。早在一九八○年八月三十一日，中共中央政治局就讨论通过了邓小平八月十八日在政治局扩大会议上所做的关于《党和国家领导制度改革》的重要讲话。邓小平在讲话中说：“我们过去发生的各种错误固然与某些领导人的思想、作风有关，但是组织制度、工作制度方面的问题更重要”，并尖锐地指出：“主要的弊端就是官僚主义现象，权力过分集中的现象，家长制现象，干部领导职务终身制现象和形形色色的特权现象。”习仲勋出席了这次会议，坚决拥护这个讲话。他敏锐地感到，党和国家领导制度和干部制度改革是一场革命。当时他还在广东工作，就开始思考和谋划这项改革。到中央书记处后，习仲勋直接参与和领导了这项工作，把邓小平的讲话精神作为这场改革的基本指导思想，按照中央的总体部署，大力推进。
中央书记处这一时期多次召开会议，讨论中央和国家机关的机构改革问题。一九八一年十月十五日，中央书记处会议决定中央机关机构改革由胡耀邦、赵紫阳主持，中央直属机关机构改革由习仲勋牵头，宋任穷、冯文彬、邓力群等参加；国务院机关机构改革由万里牵头，余秋里、谷牧、姚依林、袁宝华等参加。十一月九日，中央书记处决定由习仲勋、万里分别负责制定中直机关和国务院机构改革方案，提交中央书记处会议讨论。习仲勋、万里组织力量，经过近两周的艰苦工作，在前期工作的基础上起草了《关于中直机关机构改革方案》和《关于国务院精简机构和人员的意见》。十一月二十三日，中央书记处会议对这两个文件草案进行了讨论。二十七日，中央书记处会议又一次讨论，基本同意两个文件，决定提交中央政治局扩大会议讨论。
一九八二年一月初，中共中央政治局讨论中央机构精简问题，原则同意《关于中直机关机构改革方案》和《关于国务院精简机构和人员的意见》。在这次会上，邓小平严肃指出：“如果不搞这场革命，让党和国家的组织继续这样的机构臃肿重叠，职责不清，许多人员不称职、不负责，工作缺乏精力、知识和效率的状况，这是不可能得到人民赞同的。”“这场革命不搞，让老人、病人挡住比较年轻、有干劲、有能力的人的路，不只是四个现代化没有希望，甚至于要涉及亡党亡国的问题。”
一月二十八日，中央书记处再次讨论中央机关的精简问题，通过《中央书记处各同志对精简整编机构工作的分工》意见。中直机关由习仲勋总负责，冯文彬协助，负责的单位是中央办公厅、中央调查部、中央书记处研究室、中央党校、全国总工会、共青团中央、全国妇联、全国人大常委会机关等。
这次中央机关机构改革的目的，是精简机构、压缩编制，建立正常的干部离退休制度，使一批老同志退下来，选拔一批年轻的干部进入领导班子，实现干部革命化、年轻化、知识化、专业化。习仲勋要求，中直机关干部要从生产关系重大变革的角度来认识机构改革的重大意义。他指出，党中央这个决心下得对，是一项战略决策，具有深远的历史意义。精简机构是一场深刻的革命，触及到每个人。老同志退下来也是革命。他说，退下来的老同志干什么？有的同志精力还很充沛，有的同志还有剩勇余力，要“余热”利用，还可以为党为人民做许多事情。
习仲勋对中直机关的干部说，必须按照德才兼备的原则选拔干部，尤其是中青年干部。所谓德，最主要的就是坚持社会主义道路和党的领导。在这个前提下，干部队伍要年轻化、知识化、专业化。他还着重指出，要通过机构改革，采取适当的过渡办法，逐步废除干部领导职务的终身制，建立有利于大量培养、选拔优秀的中青年干部到各级领导岗位的新制度，保证我们党和国家的事业继往开来、持续发展。机构改革不仅要解决干部年轻化的问题，而且要解决官僚主义、办事拖拉、工作效率低的问题。因此，机构改革是适应历史发展的客观要求，合乎人民心愿的一场深刻革命，绝不是简单地为了撤并一些机构，减少几个干部。如果把机构改革看成仅仅是为了减少机构和工作人员，那就没有认识到这次改革的根本目的和深远意义。
中直机关机构改革方案经中央批准后，习仲勋一个单位一个单位地调查研究，按照单位的特点精心组织、分类指导、具体落实，他多次与部门领导和有关干部谈话，耐心细致地做思想工作。
在全国总工会、共青团中央、全国妇联机关的机构改革工作中，注意体现群众团体的特点，进行分类指导，就很能说明习仲勋的工作风格。习仲勋在工作中非常注意从实际出发，按照具体情况开展工作。他认为，工会、共青团、妇联是群众组织，组织机构、人员配备、活动内容、工作制度、工作方法、工作作风等等，都要有利于密切联系群众，充分反映群众的意愿和要求，维护群众正当的权利和利益。他把机构改革方案和群众组织单位的工作实际紧密地结合起来，要求工、青、妇“搞一个精简的方案，搞一个精简的机构，造成一个好传统”，使它们真正成为群众自己的组织。这三个群众组织在习仲勋的直接指导下，机构得到精简，领导班子得到加强，建立了一系列联系群众的制度，形成了各具特色的工作特点。
从中央调查部机构改革的过程中，可以看出习仲勋工作的细致和耐心。中央调查部在“文化大革命”中受到严重冲击，遗留问题比较多，机构改革难度较大。习仲勋为了很好地解决这个部的问题，先后同调查部的负责人罗青长、陈忠经、冯基平、王涛江等谈话，做深入细致的工作。一九八二年四月九日，在弄清情况的基础上，他又与调查部的十二位领导干部一起座谈，因为有年龄偏大的干部要退下来，所以还特别请中央组织部副部长赵振清一起听取意见。
在座谈会上，习仲勋首先肯定调查部的工作，他说，调查部是中央的一个重要工作部门。长期以来，广大干部战斗在这条特殊的、隐蔽的战线上，工作做得是好的，有很大成绩，这一点一定要充分肯定。解放战争时期，熊向晖、陈忠经同志在胡宗南那里搞情报，熊向晖同志钻到了胡宗南的心脏，当了机要秘书，他很有才华，搞了很多重要情报。调查部班子的一个特点就是不少同志长期从事情报工作，这是党的宝贵财富。同时指出，情报工作专业性强，要有连续性，要一茬一茬接下去，解决接班问题对调查部来说更为重要，老同志不退下来不行，要充实年轻同志进入领导班子。他要求进班子的年轻同志要有战斗的、生气勃勃的精神，改进工作方法，提高工作效率，克服官僚主义。
随后，习仲勋代表中央宣布了经中央书记处讨论通过并经中共中央政治局常委批准的调查部新的领导班子成员。由于事前工作做得细致周到，退下来的干部心平气和，新进班子的干部信心十足，得到了中央调查部干部职工的拥护。
习仲勋特别叮嘱新班子要处理好“文化大革命”中出现的一些问题。他说，调查部在“文化大革命”中多灾多难，受苦很大。真正恢复过来是一九七五年邓小平同志主持中央工作调整调查部领导班子以后。在延安时康生管过这个部，“文化大革命”中他更没有放过。部里有人来信反映的情况大多数是真实的，都是在特定历史条件下发生的问题。“文化大革命”情况那么复杂，看一些同志所犯的错误不能离开当时特殊的历史条件，那个时候周总理也不能硬顶。对有些问题，不要再纠缠了，不要揪住不放。有的人说了点错话，做了点错事；有的是违心地奉命办事；有的可能想的不周到而犯了点错误。有错误不要紧，只要勇于自我批评，善于听取正确的批评，向群众说清楚，群众是会谅解的。这些同志今后要严格要求自己，改造世界观，争取不犯或少犯错误。习仲勋这种实事求是、关心爱护干部的工作方法，受到大家的赞扬。
习仲勋还特别关注机构改革后新班子的建设和干部的成长。在接见调查部新领导班子成员时，他语重心长地说：
