王浑后又转征虏将军、改监豫州诸军事、假节，领豫州刺史，因豫州与东吴接壤，王浑就在当地宣扬西晋政府的威信，令很多不满孙皓统治的东吴人士前来投靠西晋。

只是后面东吴将领薛莹和鲁淑号称领兵十万，分别进攻弋阳和新息；当时正值各州兵马休息的日子，各地都少了一旅的兵力，东吴都不提防晋军会到临。

王浑则率军悄悄渡过淮河，出其不意地攻击东吴军，并将其击破，王浑后来又迁安东将军，都督扬州诸军事并镇守寿春，此时东吴又在皖城大举耕作，意图为进攻储蓄军备。

王浑于是派扬州刺史应绰督淮南诸军进攻皖城的田地，不但击破在当地镇守的军队，更烧毁大量谷物、稻苗和船只。王浑自东面边界列兵，观察东吴的地形和城池，准备筹划进攻方略。

咸宁五年十一月，司马炎决定发动灭吴战争，王浑奉命领兵从横江出击，又派部下进攻东吴各城，将其一一击破，东吴厉武将军陈代和平虏将军朱明见晋军所向披靡，遂前来投降。

此时东吴荆州已大致落入晋军之手，各路军队又攻向建业，孙皓于是派丞相张悌督丹阳太守沈莹、护军孙震和副军师诸葛靓等率三万兵抵挡晋军。

张悌领兵渡江到牛渚，并围困王浑所派的城阳都尉张乔，王浑派安东司马孙畴和扬州刺史周浚进击，并将吴军击破，张悌、沈莹和孙震等战死，七千八百多人，震惊东吴。

及后孙皓派使者，分别送降书给晋军三位主将王浑、王濬和琅邪王司马伷，但王浑因按兵不动，而王濬则一路沿长江到建业，并受降后才渡江。

王濬当时因从蜀地直攻至建业而威名远播，但王浑却认为他自己率先攻破孙皓中央的军队，功劳应当最大，只因当时按兵不动才令王濬比他更快到建业。

故此王浑非常不甘心，后悔没有在击破张悌后立刻进攻建业，更加多次上奏要揭发王濬的罪状，称他不受节度，要求要用槛车押王濬回洛阳。

司马炎都不应允，而王浑此举更被人讥讽，战后司马炎称许王浑的军功，让他进爵为京陵公，增邑八千户。

王浑在此后转任征东大将军，重新镇守寿春。当时王浑不常用刑，处事果断，而且又妥善安抚了当时心中畏惧西晋政权的东吴遗民，令江东安定，民心归附。

太康三年王浑受召入朝，任尚书左仆射，加散骑常侍，此时司马炎听从荀勖等人的建议，打算让一直在洛阳任官的弟弟齐王司马攸送返封国。

王浑上书谏止，但司马炎不听，太熙元年正月王浑升任司徒，不久司马炎逝世，太子司马衷继位。

司马衷加授王浑为侍中，封国又获赐士官，享受与睢陵郡公王祥同等的殊荣。

元康元年皇后贾南风联合楚王司马玮，诛除了辅政的太傅杨骏和他的党羽，铲除杨氏的势力后，司马玮意图杀新任太宰的汝南王司马亮夺权。

手下公孙宏劝说司马玮寻找旧臣王浑支持，以稳定众人心志，但王浑却以患病为由回到府第，命府中一千多名家兵闭门抗拒司马玮，司马玮不敢强逼。