同年六月，葛荣起义军缺乏粮食，派遣仆射任褒率兵向南侵犯，到达沁水县。北魏朝廷任命元天穆为大都督兼理东北道诸军事，率领宗正珍孙等将领讨伐葛荣。

葛荣得知魏军前来讨伐，于是率军退守相州城北。尔朱荣在讨伐葛荣之前，驻军襄垣，便命战士列围打猎。有两只兔子跃起于战马之前，尔朱荣于是立誓说：“射中就能擒获葛荣，不中则不行。”不一会儿，两只兔子都应弦而倒。

等到大破敌军之后，尔朱荣就让人在射倒兔子的地方立起一块碑，称“双兔碑”。尔朱荣将与葛荣决战的那天晚上，梦见一个人向葛荣索要千牛刀，而葛荣一开始不肯给他。这个人称：“我是道武皇帝，你敢违抗！”葛荣于是献上千牛刀，这人手执其刀交给尔朱荣。

八月，葛荣率军包围邺城（今河北省临漳县），军队号称有百万，散游之兵已过汲郡（今河南省卫辉市）。北魏柱国大将军尔朱荣上表请求率军讨伐葛荣。

九月，尔朱荣率领七千（一说七万）精锐骑兵，以侯景为前锋，从近路加速行军，向东出滏口（今河北省磁县）攻打义军。

当时葛荣起义为时已久，一直横行于黄河以北，尔朱荣的兵马很少，与义军相差悬珠，人们议论纷纷，认为尔朱荣断无获胜的道理。

葛荣听说后，喜形于色，命令他的部队士兵说：“这个尔朱荣很好对付，诸位每人都准备一根长绳，到时候只管捆绑敌人就是。”

于是葛荣从邺城往北，排成数十里的长阵，队伍如张开的簸箕一样向前推进。尔朱荣将队伍伏在山谷之中，作为奇兵。

分派都督少将以上的军官每三人为一处，每处有数百名骑兵，命令各处故意扬起尘土，擂起战鼓，大声喊叫，使义军摸不清有多少人马。

尔朱荣考虑到人马近战时，用刀不如用棒，便命令士兵们每人带一根短棒，放在马肚的一侧，到交战时担心下马斩首会影响骑兵追逐，便不允许斩首计功，只令用棒子打而已。

各路战士冲杀之处，号令严明，将士们同仇敌忾，个个奋勇争先。尔朱荣亲自冲锋陷阵，从义军背后杀出，里应外合，内外夹击，大败义军，在阵前抓住葛荣，其余的部众全部投降。

尔朱荣派人用囚车将葛荣送到洛阳。皇帝登上阊阖门观看，葛荣随后被斩首于都市。葛荣恃众轻敌，兵力分散，被尔朱荣出奇兵击败。葛荣被俘杀，起义最终宣告失败。

葛荣的部众被尔朱荣送往并州，肆州，共计二十多万普通士兵，他们遭到尔朱荣契胡军队的残酷凌辱虐待，皆民不聊生，以至于总共谋反了二十六次，被尔朱氏屠杀了超过一半至少十几万的人口，却依然不断的反抗。