他立即赶赴凉州接管了贺部的指挥权，约集众将陈说利害，巡视各营寨，稳定军心。而且还击败了侯莫陈悦，向东进据长安。为立政关陇打下了基础。

宇文泰统领贺拔岳的部属军队后，上表孝武帝元修，并与元毗及诸将共同盟誓，相约共扶王室，孝武帝遂下诏以宇文泰为大都督，统领贺拔岳所部人马。

宇文泰得到孝武帝的正式承认后，迅速讨伐曹泥，平定灵州，之后以扫平关陇各地，实力大大增强，孝武帝于是封宇文泰为侍中、骠骑大将军、开府仪同三司，关西大都督，略阳县公，承制封拜，成为仅次于高欢的有力人物。

534年五月，北魏孝武帝欲起兵讨伐高欢，事泄之后，高欢已有所戒备。中军将军王思政对孝武帝说：“高欢的篡逆之心，已昭然若揭，洛阳非用武之地，一旦遭到进攻，难以守御，宇文泰心中怀有大魏皇室，不如前往关中，凭借他的力量与高欢抗衡。”

孝武帝听信了王思政的提议。与此同时，夏州长史于谨曾劝宇文泰上书孝武帝，迁都城入关中，以效曹操之举，挟天子以令诸侯。

宇文泰接受了这一意见，将高欢结好自己的书信都封存上交给孝武帝，以显示自己忠于王室之心。取得了孝武帝的信任。

534年七月，孝武帝不敌高欢，遂从洛阳率轻骑入关依附宇文泰，并迁都长安，加授宇文泰大将军、雍州刺史，兼尚书令。

同年十月，高欢另拥魏孝静帝元善见即位，徙都于邺城（今河北临漳），史称东魏，高氏继续控制着东魏朝政。

孝武帝迁徙到长安之后，政令全部取决于宇文泰，孝武帝仍受制于人，心中不悦，与宇文泰渐生嫌隙，不满之情溢于言表。同年十二月，宇文泰毒杀孝武帝，立元宝炬为帝，史称西魏。

自此，宇文泰就与高欢成为宿敌，各自为统一东西两魏而争斗厮杀，邙山之战，成为宇文泰的心头之痛。

因为他苦心经营的六部十二会军几乎被高欢清扫殆尽。为了重建军队，他于是大力提倡任用汉人将领，吸引汉人从军当兵，以增加军队的兵源。

而当时关陇地区的鲜卑族人数有限，不可能再大量补充兵员进入军队，因此，邙山之战后，宇文泰开始从汉族人之中吸收兵员。

宇文泰宣布征募关陇地区的豪强地主武装。在北魏末年的关陇起义中，豪强地主为了维护自己的利益，组织乡兵，东西魏分立后，这些地主武装并没有解散，仍然控制在豪强手中。

宇文泰通过广募豪强以充军旅这一措施，把这些分散的乡兵武装变成中央军队的一部分，由政府选择关陇地区有名望的人物来统领。

这样一来既加强了中央对军队的控制，削弱了北魏末年以来的地方势力，又促进了武川军人集团与关陇地主的联合。

宇文泰对军队的改革实施后，一直到550年，又进一步把征兵对象扩大为所有的均田户，这样，西魏军队中汉族士兵的比重就进一步增加。

从此以后，西魏军的军事力量也变得越来越强大，又可以与高欢的东魏军队争一日之长短了。