具体训练过程如下。</P>
首先,硬件。</P>
你得花钱搭建顶级硬件,提升算力。</P>
就像wechatGpt那样,数十万颗cpU加上上万颗AI芯片来处理数据。</P>
这套硬件一旦运转,每天的电费都能让小公司破产。</P>
其次,数据。</P>
要不断提供数据来喂养模型,让其知其然,知其所以然。</P>
就像培养小孩一样。</P>
这个数据,不是人工输入。</P>
而是通过蜘蛛爬虫在网络上抓取。</P>
这些数据包括理工科技、人文社科、法律艺术、医学伦理、教育……等各方面的内容……</P>
也包括网友之间的垃圾对话,譬如:</P>
“我有一个朋友。”</P>
“我王**就是饿死……”</P>
“你凉了,兄弟。”</P>
“男人都是大猪蹄子……”</P>
“打工是不可能打工的,这辈子不可能打工的。”</P>
……等等。</P>
有可能你和女友聊的那些私密情话也会被抓进去。</P>
这些数据有多大?</P>
目前wechatGpt3.0是90tb。</P>
大约为5万亿汉字,相当于35个京城图书馆。</P>
第三,训练。</P>
数据抓取喂养模型后,开始聘请人工向模型提问。</P>
一般让模型提供三个答案,然后人工判定唯一答案。</P>
再根据答案进行参数修正。</P>
通过参数对模型的理解进行调整,直至完善。</P>
这里的人工不是精神小伙和JK少女,他们训练的模型会成为傻瓜。</P>
这里的人工是在校大学生,各专业的都有。</P>
聘请这些人工,又需要钱,海量的钱。</P>
通过对模型不断循环训练后,它的理解能力会不断提高,不断完善,越来越智能……</P>
直至通过参数积累涌现,成为“上帝”。</P>
因为,它不是人类。</P>
人类有遗忘功能。</P>
它没有,它学的所有知识都不会遗忘,随时调取运用。</P>
小马哥继续对辛顿教授说:</P>
“辛顿教授,我们一年多以前搭建的语言模型,现在已经迭代到第三代……”</P>
“我们预计半年后,会迭代到第四代,参数可能不是万亿,有可能是十万亿……”</P>
“这相当于十万亿个神经元在不断联系交流……”</P>
听到这里,辛顿教授脸色开始郑重。</P>
他是卷积神经网络的创立者。</P>
他最清楚这套算法的魔力。</P>
小马哥还要继续说,电话响了。</P>
小马哥拿起电话一看,是常乐。</P>
“喂,常总,我正在和辛顿教授交流。”</P>
“告诉你,模型应该是有意识了……”常乐说。</P>
“什么?!”</P>
小马哥眼睛瞪的老大,满脸不可思议,手机滑落坠落地面而不自知。</P>
“马先生、马先生……”辛顿不停说。</P>
小马哥反应过来,顿色道:“辛顿教授,就在刚刚,我的合作伙伴告诉我,我们的模型可能已经有意识了。”</P>
“这……不可能?4000多亿参数怎么产生意识的?”辛顿露出难以置信的表情。