葛荣最初是任职北魏边城怀朔镇的镇将。526年初，出身边民在怀朔镇当兵的鲜于修礼于定州左人城率领北镇流民起义，并说服葛荣参与起义。

他们进攻定州城池，连破魏兵，兵势日盛。两人会合杜洛周起义军，拥有部众十余万，大败征北大将军长孙稚与河间王元琛。（526年）八月，鲜于修礼被混入起义军中的北魏宗室元洪业所杀，葛荣后来杀死元洪业自立，领导起义部众继续战斗。

（526年）九月，葛荣会合另一位义军首领杜洛周的部众，北去瀛州（今河北省河间市），北魏广阳忠武王元深从交津领兵一路追踪葛荣。

九月十五日，葛荣到达白牛逻（今河北省蠡县），率领轻骑突袭庄武王元融，将他杀死。之后，葛荣自称天子，定国号为齐，建年号为广安。

不久后，广阳忠武王元深领兵返回，前往定州。定州刺史杨津怀疑元深有异，于是派遣毛谥讨伐元深。元深逃跑，毛谥带人追逐元深。元深同身边人抄小道逃到博陵地界，遇上葛荣的流动骑兵，被他们抓获送到葛荣那里。

起义军们见到元深，当年曾经跟随他、