东汉末年，天下大乱，王祥扶持着朱氏带着弟弟王览到庐江避乱，隐居二十多年，不受州郡的征召。

朱氏去世时，王祥由于过分悲痛而致病，要扶住拐杖才能起身。

魏文帝在位时，泰山太守吕虔升任徐州刺史，吕虔就任后不久，便召王祥任州别驾，他坚决辞让不到任，经王览劝说，并为他准备了牛车，王祥这才应召。

王祥到任后，吕虔就把州政都委托给他，当时盗寇四处横行，王祥率领并鼓励士兵，讨伐盗寇，将其一一击破，州内因而清静无事，政令教化也推行无阻。

当时百姓编歌唱道，海沂之康，实赖王祥，邦国不空，别驾之功。

之后被举为秀才，任温县令，经多次升迁后，任大司农。

正元元年，高贵乡公曹髦即位，王祥因参与定策有功，被封为关内侯，又拜光禄勋，转任司隶校尉。

正元二年，王祥因随司马昭讨伐毌丘俭，而增加食邑四百户。

甘露元年，朝廷任命尚书仆射卢毓为司空，卢毓辞让给骠骑将军王昶、光禄大夫王观与王祥。

此后，王祥迁任太常，封爵万岁亭侯，曹髦到太学巡查时，任命王祥为三老。

王祥以师长的身份面向南坐，凭着几案，扶着手杖，曹髦面向北坐，向王祥询问治国之道。

王祥陈述明王圣帝君臣施政化民的要领，来训导曹髦，在座旁听的人也都受到激励。

甘露五年，曹髦不满司马氏掌握大权而率僮仆数百人讨伐司马昭，遭成济杀害，朝臣为之哀悼。

王祥大声号哭说，这是老臣的罪过啊，涕泗横流众人都感到惭愧，不久便迁任司空。

咸熙元年三月，王祥升任太尉，加职侍，同年朝廷实行五等爵制，封王祥为睢陵侯，食邑一千六百户。

泰始元年十一月，晋武帝司马炎受禅，建立西晋，拜王祥为太保，进封睢陵公，府中允许设置七官。

司马炎刚刚即位，虚心征求直言，王祥与何曾、郑冲等有德望的老臣，希望再朝见，武帝派侍中任恺向四人询问朝政得失及急需解决的施政教化问题。

王祥因为年老疲倦，多次请求逊位，司马炎不许，御史中丞侯史光认为王祥久病，不能按时朝会尽臣礼，请求免去他的职务。

司马炎下诏说，太保德行高尚，是朕赖以兴隆政教的元老，言下之意相当明显。

王祥坚决要求辞官回故里，武帝才下诏同意以睢陵公的身份逊位，地位和太保、太傅一样，在三司之上，俸禄赏赐与以前一样。

并下诏说，古代官员致仕，不适用于王侯，现在太保虽然以国公爵位留居京城，不宜再有朝见的劳苦。

现在赐给太保几案与手杖，可以不朝见，有大事派人到太保府第征求意见，赐给安车驷马，宅第一区，钱百万，绢五百匹，和床帐席褥。

将宫中舍人六名送给睢陵公作舍人，设置官骑二十人。以睢陵公之子骑都尉王肇为给事中，可以经常进府第省问。

朕又因为太保高洁清廉，没有宅第，暂且留住官府，等所赐宅第建成后再搬出。

此等殊荣自古有几人能得之，简直是人生赢家妥妥的。