岳飞听了他这一番迂腐的话，心中大失所望，但脸上却不表现，只是说道：“学生明白了。”

而王贵等三人见先生有些难堪，哪里肯放过这等机会，立刻哄吵起来，惹得先生发怒，拿出戒尺，将三人每人抽打了几下。这下可正好捅了马蜂窝，三人自幼一起玩耍，而且个个有力，被先生责罚，哪里忍得住，立刻冲上去将其拽倒在地。三个小家伙虽然都是些孩童，但先生是个文弱书生，哪里能经得起这番折腾，不一会就被三人将胡子拔个精光。想要下些重手，但想到几个公子都是富户独养儿子，父母爱惜，万一自己不小心打伤了一两个，却不是自找麻烦。无奈之下，只能忍气吞声，当日便要辞馆而去，王明再三挽留，却是无济于事，只能拿些银钱，打发先生回去。

就这样，一连换了几个先生，都是一样的结果，王贵等三人恶名就些传播出去，后来便是再找到先生，一听是王家便婉言拒绝。

这下可好，王贵等三人再无人管教，更是每日里扰得村里鸡犬不宁，姚氏见三人胡闹，再加上岳飞也逐渐长大，便有心搬离王家。于是和何氏说起此事，何氏再三挽留，姚氏只说岳飞长大，王家院中丫环女眷不少，长在家中确有不便。何氏见她去意已经决，无奈找人将村东几间空房打扫干净，让姚氏母子二人居住，日常用度，仍然派人按时送来。

岳飞母子搬离王家之后，姚氏每日里给邻居做些针线活，也算是些日常进项，又让岳飞平日里上山打些柴火，以作家用，母子二人，倒也生活安逸。

这天一早，岳飞刚刚出村，正要上山打柴，就见张显灰头土脸的跑了过来，见到岳飞，连忙叫道：“岳家兄弟，王贵和汤怀被人围住了，你快去与我等助拳。”说罢不由分说，扯了岳飞就跑。

来到一片空地，就见到王贵和汤怀正与几个十来岁的孩童扭打在一起，虽然王贵生来有力，但双拳难敌四手，再加上对方年龄稍长，自然不敌。

岳飞见状，丢下柴筐，冲出战团，左推右抛，将众人分开，原来是邻村的李家老二，带着同村几个孩童。平日里王贵等人常常欺负几人，今天见他们人少，所以便上前挑衅。王贵等人哪里吃这一套，于是便扭打起来，张显眼见要吃亏，便回村来寻帮手，刚好看到岳飞，知道他学得几手功夫，就拉来助拳。

那李二也识得岳飞，就说：“岳兄弟，此事与你无干，且闪远些，今天定不放过王贵，你若是帮拳，失手打了你却不要怪我。”

岳飞笑了笑说道：“李二哥，大家左邻右舍的，何苦伤了和气，王贵等人与我自小玩大，若是看着你们打，只怕我心难安。不如我们来场赌局，你等众人一同来打我，若是打得赢，我便转身离去。如若打不赢，那我便将我这三位兄弟带走，今日之事，就些罢了，你看如何？”

那李二平日里只见岳飞与人温和，不像王贵等人那样顽皮，所以并不把他放在眼里，于是拍着胸脯说道：“也不用说我们人多欺负你，你若打得赢我，就依你所言。”