第二年（531）二月，高欢抵达信都，高乾、高隆之开门接待，高欢率众进据冀州（今河北冀县）后，他开始积极笼络当地世族地主，利用民族隔阂，煽动反尔朱氏家族情绪，收买人心，一时人声鼎沸，势力陡增。

高欢行军途中，严肃军纪，秋毫无犯，每次路过麦田农地，自己都会下马拉住缰绳，不让马匹踩坏农作物，其他军兵将领见到后都仿效高欢的行为，自觉爱护田地上的农作物，受到当地人民的拥戴。

与此同时，洛阳都城的尔朱度律废了元晔而改立元恭是为节闵帝。为了控制高欢，他想出一个办法，就是授予高欢高官厚禄，诱使他返回洛阳受封，到时候就可以限制高欢的人身自由。

于是在当年三月，他请求节闵帝封高欢为渤海王，征召回来觐见受封，高欢接旨后托词拒受。四月，节闵帝又下旨加授高欢为东道大行台（即大将军）、第一镇人酋长。但高欢仍然不回去受封，继续驻守在信都。

（531年）六月高欢在信都起兵宣誓讨伐尔朱氏，声言为被尔朱兆缢杀的孝明帝元子攸报仇，正式公开背叛尔朱氏家族。

为了名正言顺，高欢拥立北魏宗室、渤海太守元朗为帝，北魏皇帝元朗任命高欢为侍中、丞相、都督中外诸军事、大行台。

高欢为了让属下军人无路可退，和他一道起兵反对尔朱兆，他派手下人伪造尔朱兆的军令，下令高欢所率六镇降兵全部要回山西，作为契胡军人的部曲去攻打稽胡部落。

高欢假装军命严急，从军中挑选万余兵士，马上催促出发。部将孙滕和尉景也假装为士兵请命，宽缓五日。

士兵们看到此种情形又忧又惧，高欢接着又假意再宽缓五日行期。高欢作为统帅，与这支万余人的先遣军举行告别仪式，怂恿部下起兵反对尔朱氏，他站在将军台上，高声对下面的将士说：“尔朱荣是早有谋权篡位之心，一直逼迫孝明帝就范，故孝明帝击杀他是合情合理的事情，尔朱兆根本就不配提报仇二字，诸位忠于朝廷，理应诛灭尔朱氏族，为元氏皇朝效命。”

高欢的一番话成功地激起众将士的忠君爱国之心，他们誓言消灭奸贼一党尔朱氏家族，为元氏皇室报仇雪恨。

高欢于是带领着这一万多的六镇降兵流民军队对外宣称去山西，实质是前往信都。

尔朱兆收到了高欢公开背叛自己的消息后，十分震怒，誓言要灭了高欢。

他探听到高欢只率了少量兵马在冀州屯兵，便派出数路军队准备围攻高欢。尔朱氏诸将分路围攻高欢包括尔朱仲远，尔朱度律与骠骑大将军斛斯椿，车骑大将军贺拔胜和贾显智等军队于阳平（今山东莘县）集结。

尔朱兆则亲自领兵出井陉关进至广阿（今河北隆尧东），号称十万大军。高欢初次与尔朱氏交锋，面对尔朱氏大军压境，他施以反间计，散布流言，使尔朱氏诸将互相猜疑，徘徊不进。