葛荣最初是任职北魏边城怀朔镇的镇将。526年初，出身边民在怀朔镇当兵的鲜于修礼于定州左人城率领北镇流民起义，并说服葛荣参与起义。

他们进攻定州城池，连破魏兵，兵势日盛。两人会合杜洛周起义军，拥有部众十余万，大败征北大将军长孙稚与河间王元琛。（526年）八月，鲜于修礼被混入起义军中的北魏宗室元洪业所杀，葛荣后来杀死元洪业自立，领导起义部众继续战斗。

（526年）九月，葛荣会合另一位义军首领杜洛周的部众，北去瀛州（今河北省河间市），北魏广阳忠武王元深从交津领兵一路追踪葛荣。

九月十五日，葛荣到达白牛逻（今河北省蠡县），率领轻骑突袭庄武王元融，将他杀死。之后，葛荣自称天子，定国号为齐，建年号为广安。

不久后，广阳忠武王元深领兵返回，前往定州。定州刺史杨津怀疑元深有异，于是派遣毛谥讨伐元深。元深逃跑，毛谥带人追逐元深。元深同身边人抄小道逃到博陵地界，遇上葛荣的流动骑兵，被他们抓获送到葛荣那里。

起义军们见到元深，当年曾经跟随他、喜欢他的人还真不少，葛荣刚自立为王，对此很反感，担心手下的人拥奉元深为主，便杀死元深。

（527年）正月初七日，葛荣攻陷殷州（今河北省隆尧县），擒获并杀死殷州刺史崔楷，进而围攻冀州（今属河北省）。

同年三月，葛荣围攻信都，可惜久攻不下。北魏朝廷任命金紫光禄大夫源子邕为北讨大都督来援救信都。

葛荣围攻信都，从春天到冬天始终不撤军，冀州刺史元孚激励将士，昼夜坚持死守拒绝投降。十一月己丑日，由于魏军粮储已尽，而且外无救援，于是葛荣攻陷信都，抓住元孚，下令把城中居民全部赶出去，冻死者十之六七。葛荣的这一举措，也令民心尽失，招致日后的祸害。

当时元孚的哥哥元佑担任防城都督，被葛荣抓获。葛荣把将士们全部召集起来，议定元孚兄弟二人的生死去留。元孚兄弟各自引咎，争着去死，都督潘绍等几百人都叩头请求愿意去死以便救活元孚。

葛荣说：“这些人都是北魏的忠臣义士啊。”于是将元孚兄弟和被押的五百人全都赦免。

北魏朝廷任命源子邕为冀州刺史，让他与北道大都督裴衍率兵讨伐葛荣。十二月二十日，他们到达阳平（今山东省莘县）东北的漳水曲，葛荣率领十万部众进攻他们，击杀源子邕和裴衍等人。

相州的官民闻知冀州已经失陷，源子邕等人战败，人人自危，无计自保。相州刺史李神镇定自若，神色不改，他抚慰劝勉将士，因而人人致力，葛荣尽力攻打，但是最终不能攻克。

永安元年（528）二月，葛荣率军攻杀杜洛周，并收编他的部众。三月二十六日，葛荣攻陷北魏的沧州，抓获沧州（治今河北省盐山县）刺史薛庆之，沧州人在此战中遇难十之八九。