后，历经枝江之战，龙山之战等大小十余战，东南平定。

十一月，秦军灭百越强蛮‘羊部’，先祖率部重夺番禹，累计斩杀越人战士首级一万一千一百四十六，俘虏叛乱越人八万七千有余，缴获无算。

此战之后，先祖坐镇番禺，大力提拔后辈新秀，吴臣、利仓等小将脱颖而出，或骁勇驰名军中，或善结硬寨稳战，均有先祖之风。

还有一人，被先祖提拔于微末之间，布衣从军，连升七级，立微功而受大赏，斩同僚而免罚，先祖青睐于他，宠爱有加

始皇帝三十六年六月，秦军偏师击斩西瓯君桀骏及以下三千余越人武士，攻下郁林重镇，南方门户大开。

七月，先祖率主力军团进抵郁水上游，收复西越之地，使南疆安宁，故改绿城名为南宁。

八月，先祖在临尘大败骆瓯联军，吴芮等忠于秦室的越人君长率军来援，全歼联军残部，临阵射杀骆越王，斩骆越王以下两万余人。

（注：此战的前敌指挥官本是韩信，在韩案事发之后，史书普遍混淆，将主帅黑夫作为此战转折点的功臣。）

始皇帝三十七年正月，方士卢嗷因先祖曾坑害方术士，密谋上告：“亡秦者黑！”。

始皇帝大怒，下令烹之，并驱赶宫中所有方术士，在朝臣面前表现出极其信任先祖的言论。

然而与此同时，始皇帝听从赵高之言，决意南巡，夺先祖兵权。

毕竟相比较一年前的局势，先祖如今掌握了十郡之地，功高震主。（今江西、福建全境以及大半个广东与广西东部地区，安徽与浙江部分地区）

十一月，墨者谋刺始皇帝事发，公子扶苏亡走，不知其踪，其妻携扶苏孺子婴逃至巴蜀。

因先祖与扶苏交情密切，时人传言扶苏已经南逃到先祖军中，欲以南征军北上关中，谋夺皇帝位。

先祖上书自辩清白，然而朝中奸佞谗言，为时已晚。

始皇帝三十八年一月，南征军的将士们因先祖遭诬陷而愤慨难当，囚禁副将任嚣，不遵关中号令。

先祖为自保，不得已称病假死，始皇帝趁机追封先祖为武忠侯，欲定先祖尽忠报国而死之名夺先祖兵权。