高慎原来一直是外放到兖州任刺史，为了不想和小娇妻分隔两地，他特意向高欢上表，请求将他调回邺城任职，高欢于是将他从兖州调回邺城，担任御史中尉，高慎因为这个职务就有了选拔举荐官员的职权。

他选拔手下御史的时候，往往喜欢用自己的亲戚乡党。人选报上去之后，掌握终审大权的高澄发觉他这种结党营私的行为之后立即阻止，大笔一挥，奏令他重新改选。

高慎知道崔暹是高澄的心腹重臣，之前他抛弃的原配就是崔暹的亲妹妹，因此他怀疑高澄驳回他的奏疏是因为听信了崔暹的谗言，后来又发生高澄调戏自己的小娇妻事件后，就将这两人一道恨上了。

高慎因为休妻的事令到两大门阀家族变成对头人，高慎因为有着两位兄弟（兄长高乾和弟弟高敖曹）的功绩，在朝中势力很大。而崔暹作为高欢的心腹，又得到了高澄的支持，所以内斗越来越激烈了。

这里不得不提一下高欢治下的东魏政治背景，南北朝是门阀政治的时代，北魏自从孝文帝拓跋宏汉化改革后，也走上门阀政治的路线。

渤海高氏和博陵崔氏都是北方的汉族大门阀，在北魏和东魏的朝廷中有着举足轻重的作用。其实门阀内斗是一直存在的，他们利用自己是高门大户的优势，为自己的家族谋取利益。

甚至把自己的家族利益看得比国家的利益还要重。从门阀士族的利益关系来看，高欢偏重于博陵崔氏也是有政治考量的。

高欢将北魏的都城从洛阳迁到邺城，分裂出了东西两魏的格局。而河北山东一带门阀士族便成为东魏的国家根基，也成了高欢权力的来源。

高欢虽然也是渤海高氏，但由于祖父获罪被发配到北方六镇，是在鲜卑族的地域中长大的，所以他本身难以被渤海高氏接受。

赵郡李氏虽然也是高门大阀，但论势力和影响力远不及博陵崔氏，所以高欢及其家族更倾向于博陵崔氏。在这场门阀内斗中高慎落了下风。

由于这种内斗的事情越来越多，火药味越来越大，高欢对他们的这种内斗也非常厌恶。有一次，他看到高慎怠慢公务，无心理事，借口说崔暹经常排挤污蔑自己，整天玩忽职守。

高欢看到他这般怠慢，非常生气，当着大臣的面责备他说：“高中尉，最近办理公务时心思都去哪里了，做事一塌糊涂，如何配得起这个官职？”

高慎听后心中顿生怨气，他反驳道：“回大丞相，卑职一向处理政务都是恭敬谨慎的，一定是有人在背后中伤下官，请您勿误听馋言。”

高欢一听就更加生气了，他怒喝道：“你为官不思进取，还诸多借口，这个御史中尉就不要当了，回家反省去吧！”

高欢于是免去了高慎御史中尉的职务，将他外放到两魏边境的北豫州去担任刺史。

高慎被外放为北豫州刺史后，他越想越愤懑，认为高欢偏帮崔暹，包庇、纵容长子高澄的行为，因此对高欢也生了外心。