尔朱荣曾经的下属们丝毫不担心“背叛旧主”的嫌疑，不仅纷纷与尔朱荣划清界限，还经常忍不住对他进行嘲讽。

尔朱家族残暴不仁，不得人心，高欢遂产生讨伐尔朱家族的想法。六镇造反的降兵大多是鲜卑人，还有不少汉人、匈奴人、高车人、氐族人、羌族人。他们被迁置于河北后，不断受到尔朱氏契胡兵士的凌暴，屡屡造反，大小二十六次，被杀过半，仍造反不已。

刚刚缢死孝庄帝、掌握北魏政权的尔朱兆对此感到头痛，特地设宴向高欢咨询意见。高欢回答说：“六镇降兵反叛不休，又不能全部杀掉，大王您应选心腹之人去统领他们。再有反叛，就归罪其将领，不能每次都杀掉大批的兵士。”

尔朱兆觉得建议很好，就问谁能去当统领。同一席饮酒的贺拔允不知是计，当即在旁建议，让高欢去统领六镇降兵。高欢佯装大怒，起身一拳打得贺拔允满嘴冒血，门牙落地，并骂道：“太原王（尔朱荣）活着的时候，说怎么样就怎么样，现在太原王死了，天下事都听大王（指尔朱兆）的，你是什么东西，大王没发话能轮到你说三道四！”

尔朱兆很感动，觉得高欢忠心耿耿，就趁酒劲宣布高欢为六镇降兵的统帅。高欢心中大喜过望。一直以来在尔朱氏手下混事，缺的就是自己能直接指挥的军队，今天天公造美，助力自己，贺拔允给自己提名，尔朱兆又喝酒过量，发出这么一个让自己得偿所愿的任命。

高欢害怕尔朱兆酒醒后反悔作出的决定，他快马加鞭跑出大营后马上宣令：“我受命统管六镇降兵，所有人都到汾东听我号令。”吩咐完毕，立刻驰马奔赴阳曲川，建立统军大营。六镇降兵一向厌恶尔朱氏和他手下的契胡兵士，极短时间内就奔赴高欢处集合完毕。

高欢把他们带往河北。这二十多万之众的六镇降兵，成为日后高欢起家的政治资本和军事力量。

不久，高欢上书尔朱兆，表说山西霜旱灾多，兵士没有粮食，请求移师山东，解决军粮问题。高欢本意是远离尔朱兆，摆脱他的威胁和控制。

尔朱兆长史慕容绍宗看了高欢的上书立即劝说尔朱兆说：“大王，不可，不能听从高欢的说法，一旦让高欢离开晋阳城，就有如借蛟龙以云雨，将不可制矣。” 尔朱兆有勇无谋，不但不采纳慕容绍宗的意见，还把他关进牢房，然后下令高欢移军山东。

高欢率军自晋阳出发，中途遇见尔朱荣的妻子北乡公主带着大车小车的财物从洛阳返山西，又有好马三百匹，就派兵把马匹全都换掉。

尔朱兆听婶母回来哭诉后大怒，忙把慕容绍宗放出来问计。尔朱兆自己亲率军队追赶至襄垣，正好赶上漳水暴涨，冲断桥梁，高欢隔水向尔朱兆解释说道：“大王，高某借马是为了准备打击山东盗贼，没有异志，请大王相信高某。”

尔朱兆听后，将手上的大刀投掷于地，与高欢杀白马取血盟誓，二人誓为兄弟，留宿夜饮。夜间，高欢姐夫尉景准备埋伏壮士要杀掉尔朱兆，高欢认为自己的实力不足，马上阻止。

转天早晨，尔朱兆归营，又下令让高欢渡水过到他的大营。高欢想过去，被部将孙腾劝止。尔朱兆隔水谩骂高欢假仁假义，高欢不再理会他，尔朱兆无奈只好返回晋阳。