高桓其实是有点怕元灏的，他努力奉承元灏，试图表面上跟元灏修好关系，但他一面紧紧的把大权攥在手里，寸步不肯让，甚至为了跟元灏争夺人事权而杀戮大臣，一面又力图表明忠心，跟元灏示好，这显然是没有用的，元灏只是越加憎恶他。彼此都不信任，这是没有办法的事，高桓怕元灏，却也不敢放弃权力。
元灏射箭中的，高桓鼓掌欢呼，一干侍从们莫名其妙，见他欢呼也不得不附和跟着他欢呼，这小丑一般的表演让元灏深深的拧了眉，元明姝从他眼神中读到了一抹转瞬即逝的憎恶，还有冰冷的杀机。
有一回宫中，高桓喝醉了酒，醉的有点过了头，竟然在宫里酣睡起来了，元灏看他喝醉了，提了刀要去杀他，幸而给左右侍从死死劝住才没冲动。然而高桓醒过来后却是意识到什么，出了一身冷汗，从此再也不敢进宫了。宫里是元灏的天下，元灏身边全是忠心的武士，时时刻刻都能要了他的命。
高桓手握强兵自然强悍，但元灏是皇帝，占据着尊位上的优势，他身边的广陵王元子政，临川王元宥，都在积极的撺掇他夺权，为了制造一起成功的事变而日夜夜的出谋划策。而高桓这边，高时芳也劝高桓废掉祸杀掉元灏，双方各有心思，可是谁也不敢动手。
要知道，元灏杀了高桓，他不见得有能力控制高桓的军队，而高桓也不敢干弑君的事。
有一回高桓实在控制不住了，冲进宫去，气势汹汹质问元灏：“我听说陛下想杀我？是不是真的？”元灏冷笑着看他一眼：“里巷传闻罢了，我还听说大将军想杀我？这事是不是真的？”高桓听到这话，顿时就萎顿了。
元灏显然并不怕他的吓唬，不但不怕，还明目张胆的嘲讽他，面对着这样一个皇帝，高桓觉得很虚弱。
元明姝看在眼里，并不做任何表态。
高桓问她：“你是皇上的妹妹，你可能告诉我，这件事要怎么办？”高桓日夜忧患，唯恐元灏哪天要杀了他。
元明姝劝他：“大将军不妨退一步，回并州去。”
高桓沉思不语，他对元明姝很好，很关心照顾，高桓任虞城令政绩优异，治下百姓衣食丰足安居乐业，短短两年间把一个标准的穷困县治理成了温饱富庶之地，不久之前从虞城令升到了睢阳郡守，并领南阳郡守，已经成了一个颇有名声的地方官。虽然他政绩好，但是若高桓打压他，他是肯定没有这样的机会的。不过高桓还是没有接受元明姝的建议回到并州，人在并州遥控洛阳，未尝不是良策，但是他还是不放心。
元灏那趋势，是要脱离他的掌控。
