史载杨坚出自关中高门弘农杨氏,自称是东汉太尉杨震十四世孙,其四世祖杨元寿被北魏任命为武川镇司马。
其父杨忠跟随北周文帝宇文泰起义关西,因功赐姓普六茹氏,官至柱国、大司空,封随国公。
死后追赠太保,谥号桓。不过据陈寅恪的考证,杨坚家族可能是山东寒族,其弘农杨氏的身份应出于伪托;而所谓杨元寿留镇武川亦是宇文泰为笼络部下感情而虚构之事。
西魏大统七年六月癸丑夜,杨忠之妻吕氏于冯翊般若寺生下了杨坚,据说当时紫气充庭,《隋书》记载。
当时有一个尼姑对吕氏说,杨坚此人不可与常人一样抚养,所以尼将杨坚带到别馆,亲自抚养,幼年的杨坚为人深沉少言,刚刚进入太学的时候,即使是十分亲密的人也不敢戏弄。
西魏恭帝二年杨坚十四岁时,京兆尹薛善征辟他为功曹,翌年因为其父杨忠的功劳被授为散骑常侍、车骑大将军、仪同三司,封成纪县公。
西魏恭帝四年封为骠骑大将军,加开府,北周武成元年北周明帝即位,授杨坚为右小宫伯,进封大兴郡公。
武成二年周武帝宇文邕即位,杨坚任小宫伯,出任为随州刺史,进位大将军。后来被调任京城,在其母身边侍疾三年,昼夜不离左右,都称他纯孝。
当时宇文护执掌朝政,非常忌惮杨坚,多次想要谋害他,幸而有大将军侯伏、侯寿等人的保护才得以幸免。
天和三年父亲杨忠死后,杨坚承袭随国公的爵位,周武帝聘杨坚的长女杨丽华为皇太子妃,对杨坚更加礼重。
齐王宇文宪曾对武帝说普六茹坚相貌非常,我每次见到他,都不觉自失,我怕他不会久居人下,要早早地除掉他。
武帝说杨坚此人只可以作为一个将领,内史王轨突然对武帝说皇太子赟将来并非社稷之主,普六茹坚貌有反相。
武帝十分不悦说帝王自有天命在,旁人又能奈何,杨坚知道后十分畏惧,行事小心谨慎,以韬光养晦。
建德四年杨坚率水军三万,于河桥大败北齐的军队,建德五年杨坚跟从周武帝亲征平齐,进位为柱国,与齐王宇文宪一起在冀州大破齐任城王高湝,被封为定州总管,很快又转任亳州总管。
宣政元年六月周武帝宇文邕死后,太子宇文赟即位,杨坚的长女杨丽华被封为皇后,杨坚因为是皇后之父又晋升为柱国大将军、大司马。
大象初年,杨坚官任大后丞、右司武,很快转任大前疑,周宣帝每次外出巡幸,都让杨坚在朝内留守,当时周宣帝制定《刑经圣制》,法令极其严苛。
杨坚因为法令严酷,不是教化约束臣民的好办法,向周宣帝强烈进谏,周宣帝不听。
杨坚的地位和威望日益做大,周宣帝十分忌惮,周宣帝有四位宠幸的姬妾,与杨丽华一起为皇后,诸家争宠,相互诋毁对方。
周宣帝发怒之时,对皇后杨丽华说一定要将你家灭族,于是召杨坚入宫,对左右侍卫说杨坚的脸色稍有变化,就杀了他。