北齐尚书右仆射祖权倾朝野。左丞相咸阳王斛律光特别讨厌他，远远的看到他也会骂道：“这个诡计多端，贪得无厌，让国家多灾多难的小人！”一度对自己部下的将领们说：“赵彦深任尚书令时，常常和我们一起商量讨论有关军事机要，兵马的处理等事情。可自从这个小人主事以来，什么事情都不和我们商议，真担心因为这样的人而毁了整个国家。”有一次，斛律光坐在朝堂的帘子后面，祖骑马经过没有发现，他就故意大怒道：“这个胆大妄为的小人！”后来，祖前往门下省，讲话时声调既扯得长又说的慢，正巧经过的斛律光听到祖说话的腔调，又怒了。祖感到很奇怪，私下贿赂了斛律光的随从们，希望得到什么蛛丝马迹。奴仆们说：“自您当政以来，相王几乎每天夜里都摇头叹气地说：‘奸人当道，江山不保。’”
斛律光纳的妾生了个女儿，穆提婆想娶来做妻子，斛律光没答应这门亲事。齐王将晋阳当地的一些田地赐给穆提婆，斛律光在上朝时说：“这些地是用来种植战略物资的，从神武帝以来一直都种谷物，正是靠着这些田地才养活着几千匹马，才使得在外寇入侵时无后顾之忧。陛下现在将田地赏赐给穆提婆，只怕要影响国家的军事吧！”这席话，让祖、穆提婆以及斛律光积怨。
斛律后一直不得皇帝宠爱，祖便开始离间他们的关系。斛律光一家人在朝廷内也是有一定的地位。弟弟斛律羡是都督、幽州刺史、行台尚书令，擅于治理军队，手下兵马强壮。搭建的防线更是规范而牢不可破，突厥人都称他为“南可汗”。长子斛律武更是身兼数职，既担任开府仪同三司，又是梁、兖二州的刺史。
尽管斛律光声名显赫，家底殷实，却生性节俭，不喜欢大操大办。平日里很少接待宾客和朋友，对于别人送的东西更是拒绝接受，对权势更是嗤之以鼻。每次朝廷集会大家一起商讨，他都最后一个发言，可每次说的话都在情在理。需要写奏折或者上表时，也多是自己口述由别人代笔完成，唯一的要求：简短而且真实。打仗用兵更是严格仿照他父亲的办法，如果军队没有安营扎寨妥当，他不会进军帐，或者整天不脱铠甲但也不坐着，战场上更是身先士卒。如果真有士兵犯了错，也只是象征性的用大棒敲打后背作为惩罚，绝不会随意杀生，因此，士兵们都是一片赤胆忠心，誓死效力。年纪轻轻便应征入伍，一直都没有打过败仗，敌军个个都怕的要命。北周的勋州刺史韦孝宽到处散播谣言：“百升飞上天，明月照长安。
”又说：“高山不推自崩，槲木不扶自举。”还派了间谍前往邺城散播谣言，还让邺城的小朋友们把谣言当儿歌在路上唱。祖也跟着瞎起哄，道：“盲老公背受大斧，饶舌老母不得语。”还让大舅子郑道盖向后主奏报此事。后主就向祖问及此事，祖和陆令萱异口同声：“千真万确。”祖甚至还补充道：“百升，其实就是斛的意思。而‘盲老公’则指的是我，说我与国家共患难。‘饶舌老母’似乎指的是女侍中陆令萱。众所周知，斛律氏几代都是大将。斛律光，字明月，在光西一代声名显赫；斛律羡，字丰乐，突厥人闻风丧胆；女儿贵为皇后；儿子又娶了公主，与皇室成了亲家。这谣言一旦是真的，那可就令人生畏了呀。”后主询问韩长鸾对此事的看法。韩长鸾觉得，可能是有人蓄意离间，无事生非。后主也没再多问，这件事就到此结束。
祖又拜见后主，说有要事相商。看到何洪珍在后主旁边，便请求后主安排身边的人退下。后主说：“韩长鸾跟朕提起一件事，他觉得，我不应该不加选择就执行你奏折上的请求。我也想了想，觉得他说的有道理。”还没等祖作出反应，何洪珍便插话说：“有则改之，无则加勉。如果真的被我言中，陛下有没有做出相应的举措，今天说了这么多一旦泄露出去，可如何是好啊？”后主说：“何洪珍说的有道理。”可最终还是没做什么决定。恰逢丞相府佐封士呈上密函：“我记得陛下曾下令，解散斛律光率领的西征军队，可斛律光却指挥军队进逼都城意图不轨。
虽然以失败告终，但在他家中私藏的弓箭、铠甲、随从及下人也有很大一批，与斛律羡、斛律武都的来往也相当的密切。我劝陛下及早有个准备，以防万一。”正巧结合密函和何洪珍的话，陛下更加相信了。对何洪珍说：“你们和我真是心照不宣，看来我的怀疑没错的，他果然要伺机造反。”无奈后主胆小怕事，又怕夜长梦多，便让何洪珍安排祖迅速入朝，告诉祖说：“我想召斛律光来，又怕他有所怀疑不肯前来。”祖请求说：“陛下可派人赐他匹好马，然后告诉他，‘朕明天要去东山游玩，请王骑着那匹马陪我一起去。’我想，斛律光也不敢违背陛下，一定会前来谢恩，陛下可趁机捉拿他。”后主采纳了他的建议。
六月，斛律光进宫来到凉风堂。刘桃枝想从背后将他按倒，没有成功！斛律光回头说：“我觉得我无愧于朝廷和国家，而刘桃枝却时常跟我过不去。”刘桃枝联合另外三个大力士，用弓弦缠住斛律光并将他活活勒死，鲜血喷了一地，怎么收拾也收拾不干净。事已至此，后主下诏说斛律光试图谋反，东窗事发已被致死。随后，将斛律光的儿子斛律世雄、斛律恒伽也一起杀掉了。
接着，祖就安排二千石郎邢祖信对斛律光的家产进行查处。祖到尚书都省打听查封的结果，邢祖信说：“共查获十五张弓，在宴会上玩游戏用的箭一百支，七把刀还有陛下赏赐的长矛两杆。”祖忽然厉害地说：“除了这些还有别的吗？”邢祖信回答说：“还有二十捆枣木棍。当有奴仆和别人打架时，不用管谁对谁错，先用这些枣木棍打奴仆一百下。”祖听后十分惭愧，小声地说：“朝廷已经对他重刑处罚了，你也就不用再为他洗刷冤屈了！”于是，邢祖信就离开了尚书都省。有人责怪他过于率直，甚至有点固执。他感慨万千地说：“即便是贤良的宰相都可能随时被杀害，我区区几品小官又何必太在意是生还是死呢！”
斛律光的长子斛律武时任梁州、兖州刺史，北齐后主派人前去将他就地正法。同时派中领军贺拔伏恩乘驿车去捉拿斛律羡，同时宣布罢免斛律羡，由洛州行台仆射中山人独孤永业代替，还安排独孤永业和大将军鲜于桃枝一起，从定州率骑兵前去捉拿斛律羡。贺拔伏恩等到达幽州，守城的人报告斛律羡：“城外之人穿着作战用的衣服，马匹也有长途奔袭的痕迹，只怕是来者不善不可打开城门。”斛律羡说：“那是皇上派来的使者，我们不该有所怀疑更不能将他们拒之门外！”于是出城亲自迎接会见。贺拔伏恩顺势将他擒获。想当初，斛律羡感觉到自己家族势力强盛，意识到这么下去早晚要出事，就上表请求陛下削减他的职务，可后主没有答应。临死之前，他感慨地说：“正是因为太过富贵，而且女儿是皇后，全家也多是皇亲国戚，平日里位高权重，不落此下场才怪！”他死后，他的五个儿子斛律伏护、斛律世达、斛律世迁、斛律世辨、斛律世酋也被一一处死。
北周后主闻听斛律光被处死，大赦全国，以示喜悦。
从此，北齐的朝政就掌握在了祖和侍中高元海手中。陆令萱的外甥女是高元海的妻子，高元海也多次告诉祖陆令萱的秘密。祖希望北齐后主任命他做领军，后主答应了。这时的高元海偷偷跑去对后主说：“祖是汉人，没什么才能还目光短浅，怎么能做领军！”还说祖和广宁王高孝珩有秘密往来，北齐后主听罢，就打消了任命的念头。祖于是参见后主为自己辩解，说：“想必是高元海和我积怨已久，特趁此机会陷害于我吧。”后主碍于面子，不得不把告诉他实情。祖又反咬说，高元海和司农卿尹子华等人勾结一起，图谋不轨。甚至到陆令萱那，将高元海屡次在背后说她坏话的事揭发了出来。陆令萱一怒之下，将高元海贬为郑州刺史，而尹子华等人则全被罢官。
祖从此高枕无忧，既主管朝廷的枢要机关，又掌管北齐的骑兵、外兵军务，他的亲戚和亲信们也都借此机会得以飞升。后主更是派了身边最亲近的太监服侍祖，遇到需要祖进宫一同商量国家大事的时，更是让太监们将祖搀扶着，一直送到宫里的长巷。甚至将国家大事搬到了床榻上商量。交代给祖的任务也都是十分重要的，在后主的眼里只有祖是最值得信任的，其他臣子都望其项背。
