希特勒离开了兰茨贝格监狱后，立即着手重建因啤酒馆暴动失败而四分五裂的纳粹党。而希姆莱早已为希特勒在兰茨贝格监狱里炮制的那本臭名昭著的《我的奋斗》，种族主义理论和他狂妄的叫嚣所深深地折服。
凭着择主而事的本能，希姆莱认定希特勒就是自己的新偶像。于是，当施特拉塞调往柏林并成为希特勒在德国北部的竞争对手时，希姆莱开始向希特勒靠拢。
1925年2月，希姆莱给希特勒写了一封信。在这封信中，他恬不知耻地吹捧希特勒，说稍有祖国观念的德国人都信任他，把他视为能帮助德国重新占据它应有地位的那样一个人。希特勒被这位新崇拜者的信感动了，他决定要见一见这封信的作者。1925年3月12日，希姆莱敲开了希特勒的房门。同年8月，他加入了纳粹党，党证编号1345.
希特勒很喜欢希姆莱那种恭敬的态度和严守纪律的作风。对这位忠诚的新“仆人”，希特勒果然没有亏待他，不断地给他一点甜头，让他在特权阶层中的地位直线上升。
1926年，希姆莱任纳粹党上巴伐利亚-施瓦本区副领袖，后又任纳粹党全国宣传工作副领导。1927年，希姆莱任党卫队全国副领袖，其党卫队队员证号是168.面对这些令人炫目的头衔，希姆莱感到称心如意，他的虚荣心得到了满足。
在希姆莱的办公室和住宅的门上，金光闪闪的哥特字母显示：希姆莱身兼三职。他既是纳粹党慕尼黑党部书记，又是党卫队全国副领袖和中央宣传工作副领导。
坚信日耳曼种族优越论的希姆莱，终于在他26岁时碰上了一个梦幻中的金发碧眼、身材高大的日耳曼姑娘。
这个女子叫玛加丽特·波登，是西普鲁士贡歇策沃一个德国地主的女儿。在第一次世界大战期间，她曾经当过护士，后到柏林结婚，不久离婚。在柏林，她用她父亲给的钱开了一家小型私人诊所。
希姆莱被玛加丽特身上的那股主宰人的气质所迷醉；而她则对希姆莱关于医学的一些妄言特别是顺势疗法颇表赞同。两人一见钟情，很快便如胶似漆。
玛加丽特·波登比希姆莱大八岁，而且还是教徒、结过婚的人。希姆莱的父母对儿子所找的对象不大满意，但他们并没有横加干涉。
1928年7月3日，希姆莱同玛加丽特·波登结婚。从这一天起，这个粗俗、毫无幽默感和神经质的金发女人，主宰了希姆莱的生活。
希姆莱所担任的三个职务中，无疑以党卫队全国副领袖最为重要，因为这个组织在未来的岁月中即将决定千百万人的命运和生死。
1925年4月，根据希特勒的授意，希特勒的司机尤利乌斯·施雷克为希特勒组建了一支本部卫队，首批党卫队员只有八人。几个星期后，这支新的卫队改名为党卫队，简称为“SS”，从此，这个词成为德国人最大的梦魇。
这时的党卫队，远不如后来向人们所显示的那样强大和不可一世，它充其量不过是纳粹党内得到主子恩宠的一个“私生子”。荣耀是有的，但骨子里还是被人看不起。它所担负的任务，在纳粹党内是很不起眼的。
当希姆莱担任党卫队全国副领袖时，全国仅有队员167人。而当他小人得志，于1929年1月6日成为党卫队全国领袖时，全国队员也仅仅300余人，并且在名义上隶属于一向不把党卫队当回事的冲锋队头头管辖。
党卫队不仅兵微将寡，而且还缺乏精锐装备和应有的尊严及传统。它干的是被认为微不足道的工作，在经济上也没有得到纳粹党的任何补贴。党卫队队员还要自己掏腰包买黑夹克、筒靴，交纳党费和党卫队的队费。
更叫人恼火的是，纳粹党内存在一种普遍的偏见，人们把党卫队仅仅看做是推销党的报刊的一支队伍。
此外，这一时期的希姆莱虽已进入纳粹高层，但同戈林、戈培尔、弗立克、施佩尔这些人比起来，他还不是希特勒最亲密圈子中的成员。这也令希姆莱伤透了脑筋。
希姆莱向被他认为有用的社会各阶层频送秋波，这些阶层拥有他所需要的东西：声望、金钱和一种世代相传的统治本能。
在希姆莱不遗余力地努力下，党卫队得到了迅速地扩张。大量各阶层人士涌入党卫队，迅速改变了党卫队的社会成分和面貌。一些心存疑忌和不满的党卫队老队员把这些新人戏称为“香堇菜”。
截至1933年，“香堇菜”成员主要有以下几种人：
其一是前志愿团成员。这都是一些崇尚武力、爱好冒险的家伙。在德国历史上，可以说找不出第二个比1919年和1920年间的志愿团更为冒险、既打仗又搞政治的军人组成的乌合之众了。
其二是贵族。这是最先加入党卫队的一些知名贵族人士。紧随其后，党卫队的血管里进一步注入了贵族血液。在党卫队的花名册上，普鲁士、德意志历史上的显赫姓氏几乎无一遗漏。
贵族的加入，是希姆莱为党卫队添置的一个精致的花瓶，穿上党卫队制服的贵族在党卫队内担任了一些有名无实的高级职位。希姆莱并不要求这些显赫的成员做任何具体事情，他只是要利用这些人进行招摇撞骗。
事实证明，这对党卫队补充新人和扩大影响起了显著的作用。没过多久，党卫队便从人们心目中的“卖报小贩”变成了“精华的组织”，黑色制服也在社会上成为男性阳刚之美的象征。
继贵族之后涌入党卫队的是中等资产阶级子弟。他们中的多半都受过完整的大学教育，这些人差不多都进了海德里希主持的保安情报处。他们成了不凭感情办事的党卫队技术政治家，给法西斯专政提供了各种需要的、形式上合乎法律的公式。
这种公式巧妙、实用，除了着眼于权力之外不计其他，但又灭绝人性和无视人们一致公认的准则。
这群人的另一部分，是一些青年经济学家。他们对党卫队本身的世界观不感兴趣，而是将希姆莱的经济企业看成是一条比较保险的成名发迹的道路。
“香堇菜”还有一个重要来源，是国防军中的资产阶级军官团，他们使本已很不一致的党卫队成分更加复杂化了。农民也纷纷涌入了党卫队。这些人大多比较年轻，感到一辈子待在农村无出路，而投身党卫队谋求发迹。
喜欢别出心裁的希姆莱，似乎嫌党卫队还不够五花八门，他又给党卫队添了一个别致的大花瓶：名誉领袖。希姆莱授予有影响的公职人员、纳粹党的高级干部、社会名流以领袖头衔，并让他们有权穿相应的党卫队制服。
党卫队名誉领袖直接由全国领袖本部领导，不需值勤，但也无权发号施令。希姆莱企图利用这种名誉领袖的头衔扩大党卫队的社会基础，并以党卫队的思想来操纵这些名誉领袖。这种想法看上去荒唐，但很有用。
为把党卫队变成名副其实的近卫军，希姆莱仍在马不停蹄招兵买马，扩充势力。
希姆莱利用节日活动，同农业技术协会建立了联系，并进而由此和半保皇性质的“基夫豪塞”德国军官联合会总会结盟，使党卫队又多了一个大量退伍老兵的来源。不久，德国军官联合会总会的中央领导成员和地方分会领袖也集体加入了党卫队。
党卫队以令人吃惊的速度迅速膨胀着，但希姆莱对此仍感不满。这时，他打起了冲锋队的主意。
对党卫队而言，冲锋队现在还是一个尚未开垦的处女地，这也使得希姆莱垂涎三尺。
党卫队此时在名义上还隶属于冲锋队，但这并不影响希姆莱的行动。在暗地里，希姆莱开始大挖冲锋队的墙角，而且颇有成效。
希姆莱的举动，引起了冲锋队的头头弗朗茨·普费维尔·冯·沙洛蒙的警惕和不满，他认为“党卫队组织是使用卑鄙手段招募人员，意在瓦解冲锋队”。
于是，在1926年年底，他签署了一项命令规定：
党卫队只许在冲锋队的领导下进行行动。
可是，得到希特勒暗中撑腰的希姆莱并不买账，依然我行我素，继续在冲锋队的后院煽风点火。
冲锋队的头头们被激怒了。其中有些人怒不可遏，他们纷纷印制匿名传单，抗议希特勒“以牺牲冲锋队来扩充平民阶级的党魁的私人卫队——党卫队”的阴险做法。党卫队同冲锋队的矛盾越演越烈。这时候，希特勒以平衡者的面目出现了。
希特勒指示，立刻结束党卫队与冲锋队的敌对状态。同时，他不无偏袒地站在了党卫队一边。1930年年底，希特勒下令：“任何冲锋队领袖均无权对党卫队发号施令。”
党卫队从此脱离冲锋队的领导，成为纳粹党的又一支独立力量。希姆莱在权力角斗场上取得了第一次重大胜利。希特勒很高兴地看到，党卫队队伍的壮大在很大程度上削弱了令他讨厌的冲锋队的影响，为此，他决定进一步为党卫队大开方便之门。希特勒指示：党卫队不要再在冲锋队内招募人员。相反，冲锋队有义务主动挑选优秀的人员输送给党卫队，其输送人数应占各地区规划中党卫队人数的半数。对冲锋队输送来的成员，党卫队有权进行严格的挑选，被认为血统不纯正即不是日耳曼人血统的，党卫队有权退回。冲锋队作为党卫队的重要来源，需再重新挑选和输送党卫队员。
党卫队的势力得到爆炸性的扩大。
最令希姆莱满意的是，党卫队不再是纳粹党内执行微不足道任务的“小弟弟”了。在希特勒1930年11月7日发布的命令中，希姆莱欣喜地注意到这样一句话：“党卫队最首要的任务是在党内执行警察职责。”
从这时起，心领神会的希姆莱便把组建一支对希特勒无限忠诚、在兵员素质上远远超过冲锋队那帮粗野武夫的部队，作为他所奋斗的目标。他知道，希特勒要他做的，就是将党卫队建成日耳曼血统部队的雏形。
纳粹实行铁血专政的利剑在这时雏形已具。从这时起，党卫队开始向情报领域进军。在希姆莱的领导下，它倾尽全力地投入了这样一种活动——侦察反希特勒分子和反党人物。
据此，希姆莱在党卫队各个地区建立起秘密侦察部门，负责监视党内外敌人的情况。
随着纳粹党在德国政治生活的日益得势，党卫队也在一天天地发展壮大。
1932年1月25日，希姆莱被任命为位于慕尼黑布里纳大街45号的纳粹党总部的安全工作负责人。
1933年，第一次世界大战后在德国历史舞台上存在了14年的魏玛共和国寿终正寝，德国人14年来实行民主制度的笨拙努力的丧钟终于敲响了，纳粹在德国取得了政权。
维也纳的流浪汉、第一次世界大战时的下士、啤酒馆政变闹剧的主角、纳粹党党魁希特勒，在德国军人和垄断巨头的支持下，以合乎宪法的方式宣誓就任德国总理。
希姆莱的权势却随着纳粹的上台而下降了。1933年，他被希特勒任命为慕尼黑警察局局长。希姆莱无法容忍这一切，他要想成为纳粹国家中真正的实权人物。
幸运的是，他命运中又有一个关键人物登场了，这就是莱因哈德·海德里希，纳粹帝国中未来的另一个谍报巨头。
海德里希与希姆莱于1931年6月结识，希姆莱对海德里希超群的才能深为赏识，称他为“一部活的记录器，一位了解所有线路并使其始终连接通畅的有头脑的人物”，是一个“天生的情报人才”。
希姆莱当场决定，起用莱因哈德·海德里希，由其负责党卫队情报机构的组建。
希姆莱和海德里希这对纳粹德国的“梦幻组合”从这时开始形成了。希姆莱在1931年年初，仿效德国陆军参谋本部的IC部门——主管敌情侦察的部门——在党卫队高级指导处设立的类似机构的实际工作全部交给了海德里希，而他本人仍旧担任该机构的名义领导。
1931年8月底，海德里希以未来的情报巨头身份参加了在慕尼黑褐色大厦召开的一次党卫队高级干部会议。在这次会上，海德里希指出党必须无情地清除一切间谍分子和异己分子。
1932年年初，海德里希已将他的特务机构扩大，在各区的党卫队内都先后成立了IC科。
这时的海德里希已不满足于跟几个密探和情报人员保持松散的接触了，他决定将在各地的IC部门组织起来。
1932年4月，希姆莱和海德里希将IC改名为PID，即新闻和情报处，并以此为基础，将党卫队各单位的谍报人员和密探抽调出来，直接置于海德里希领导之下，由此产生了第一个党卫队特别机构——保安处，简称SD。
这时，保安处也有了自己的办公地点——慕尼黑楚卡里大街4号的一幢大楼。
关于党卫军保安处的作用，希姆莱曾写道：
揭露一切与国家社会主义为敌的分子从而指导警察的行动，因为执法的任务只能由警察担任。
但保安处的头头们并不甘心仅仅充当盖世太保的助手这一角色。于是，他们为自己确定了相同的目标：保安情报处将成为精神警察和评判控制思想的工具。
作为党卫队特别机构的保安处，是海德里希自己控制的一个半独立机构，仿佛党卫队中的“国中之国”。
党卫队和保安处的势力在巴伐利亚取得了空前的发展。
1933年4月1日，巴伐利亚的所有政治警察被划归希姆莱领导，希姆莱自称政治警察司令，同时，他还领导了巴伐利亚内政部的一个特别司。自此，希姆莱和海德里希又在积极筹划将这“黑色章鱼的触角”伸向德国社会的各个角落。
海德里希这个能干的帮凶，教会了希姆莱如何利用党卫队去干成他想干的事。对希姆莱来说，没有比赢得希特勒的欢心、挤进希特勒身边最核心圈子更重要的事了。
希姆莱抓住了希特勒神经上最敏感的一点——安全问题。
希特勒这位德国的新主宰从上台那一天起，就有着一种强烈的不安全感，他对个人安全怎么也放心不下。他疑神疑鬼，好像到处都有向他逼近的影子。
于是，希特勒指令由党卫队建立一支负责保卫他的本部警卫。希姆莱立刻挑选了一个矮胖粗壮的巴伐利亚人、党卫队地区总队长约瑟夫·狄特里希担任希特勒的私人卫队长，由他负责组建工作。狄特里希纠集了120名忠心且凶悍的党卫队员，在希特勒周围布置了一道由三层岗哨组成的警戒线。这支新队伍后来被希特勒冠以“阿道夫·希特勒党卫队警卫旗队”的称呼。这就为德国第二支国防军的建立打下了基础，即后来的武装党卫队。希姆莱由此得到启发，他开始在全国范围内建立起类似性质的“党卫队特遣队”，即后来的“政治预备队”。希姆莱的野心不断地膨胀。
