当年娄昭君刚有孕怀了高洋时，每天夜里都有红光照亮寝室，娄昭君私下觉得十分奇怪，就将此事告诉了高欢，高欢当时听后就说：“这一胎恐怕是个有异相的孩子哩。”

因此高洋出生时，高欢就为他改了个鲜卑名字叫做“侯尼于”。用鲜卑话解释就是有福相的人。因为他是在晋阳出生，所以又有另一个名字叫晋阳乐。

当时高欢穷得家中四壁空空，娄昭君和亲戚们在一起对坐发愁，都不禁为目前的饥寒交迫状况而担忧。高洋当时出生只有几个月，还没有学会讲话，却突然开口说：

“得活下去。”

娄昭君和身边的人听见后都大吃一惊，吓得说不出话来。

高洋出生时相貌并不讨好，一副呆笨的样子，让娄昭君曾一度以为这个儿子的智商出了问题。他与大哥高澄完全是两个相反的模子。

高澄一出生就是个玉雪可爱的小孩，不但长得和高欢十分相似，还异常聪明伶俐。

与少年得志、锋芒毕露的高澄相比，高洋则是另一副模样。

小时候的他，其貌不扬、皮肤黝黑、沉默寡言，时常受到兄弟们的轻视。

长大以后，他虽然长得很高大，但皮肤很黑，宽脸颊尖下巴，身上长有鳞甲，脚踝重叠。

高洋看东西时目光专注，不喜欢玩耍，深沉而有大气度。

当时晋阳有个僧人，据说是很会看人面相，但他时而胡涂时而聪明，人们都摸不透他，叫他做阿秃师。

娄昭君听说后就让他为自己的几个儿子看面相，一个个地问他们后来的福禄和地位。

当阿秃师看到高洋时，他只是不停地举手指着天上，不说一句话，见到的人都感到很奇怪。

高洋每每看事情内心虽然很明白，但就是不说出来，表面上显得无所谓的样子。

高澄对他常常嗤之以鼻，说道：“像你这种人要是能得富贵，那所谓的面相之术就真的令人费解了。”

高欢因为高洋生得面目极之普通，不是那种神采飞扬的样子，曾经拿时局大事探问他，他也略能说出一些，但如果讲了某件事，他就一定能说出其中的原委。

有一次，当时高澄和高洋都还小，高欢为了考察儿子们的领兵才能，就让他们各人领兵在野外出动，暗中让大将彭乐带领骑兵假装进攻。

高澄等几个兄弟面对进攻时都显得非常害怕，只有高洋一个敢领着众军和彭乐对阵。

彭乐一见高洋要动真格去打，便马上脱去甲胄对高洋说：

“小公子，这是你父王考察你们几个兄弟而已，不必真的对阵开战，你只需假装领兵排阵，应付一下就过去了。”

高洋听了彭乐的话并不理会他，继续指挥的军队向前冲锋。

彭乐一见就急了，他以为高洋没有听明白自己的话，又继续对他解释说：

“二公子，你没有听明白本将的意思吗？不是真的对阵作战，是你父王考察你们罢了。”

可是高洋仍然不管他，指挥着军兵冲锋过去，还把彭乐生擒了，把他五花大绑后献给高欢。高欢对他的勇猛十分赞赏，且感到很惊奇，他对身边的薛长史说：

“这孩子的见识比我还更高些。”

薛长史对高洋的举动私下也觉得奇怪。

高洋年幼时，尊范阳的卢景裕为老师，他其实心中见识过人，可是却从来不会自己说出来，以至卢景裕也摸不清他的底细。

天平二年(535年)，高洋被封为太原郡公，累次升迁至尚书左仆射。后来有一次和高澄一起走过辽阳山，只有他一个人看见天门打开了，其他人没有一个能看到。

尽管旁人都认为高洋是个平庸的人，但知子莫若父，高欢则察觉出二儿子这是大智若愚、韬光养晦。