“灵犀包含30万颗麒麟970芯片和1.6万颗昇腾910芯片。”李飞向诸位大佬介绍道:</P>
“昇腾910芯片与同等规模的英伟达h100芯片系统相比,它要快2倍,节能效率高1.7倍……”</P>
“目前超过90%的训练都在灵犀上进行……”</P>
“主要是给模型输入数据,让它能够生产类似人类的语言,另外生成图像等等。”</P>
“灵犀的性能、可拓展性、可用性的表现,已经成为大数据模型训练的主力。”</P>
“要搭建一个规模如此大的模型不是简单的事情。”</P>
“因为语言模型不可能存储在单一芯片上,而是需要分布在数千、上万颗芯片上。”</P>
“因此改善芯片与芯片之间的连接,成为搭建超算的关键难题”</P>
李飞继续介绍道:</P>
“但是,我们解决了这个难题。”</P>
“它可以轻松配置芯片之间的连接,能够避免问题并优化性能。”</P>
“如果在运行过程中,有芯片组发生故障,会不会影响超算的运行?”任总问。</P>
“不会,超算会自动跳过这些故障组件,继续运行。”李飞自信说道:</P>
“同时,它还会提醒我们的工程师,究竟几个芯片组发生了故障。”</P>
任总点头:“这点就难能可贵。”</P>
老徐问:“那这么说,这台超算可以随机应变,改变芯片互联的拓扑结构,加速模型学习?”</P>
“对,徐总,我们可以通过电路切换做到这一步。”李飞说。</P>
“大数据模型目前学习进度怎么样?”常乐更关心这一点。</P>
超级计算机如何搭建?</P>
算力多高?</P>
成效多高?</P>
特点如何?</P>
常乐这些都听不懂,听得懂的就是进度,形象进度。</P>
“好的,老板,各位老总,我们去楼上看看。”</P>
李飞前方带路,带着众人离开地下室的超算中心。</P>
电梯里,小马哥对常乐说:“我们公司借鉴项目组的经验也开发了一个模型,叫wechatGame,正在训练它玩游戏,王者。”</P>
“哦?段位怎么样?”常乐好奇。</P>
谷歌也有类似的游戏大模型。</P>
“呵呵,倔强青铜,偶尔能胜一场,大多数都是输。”小马哥摇头笑道。</P>
“这么差?训练多长时间了?”常乐问。</P>
“刚刚开发完,训练了半个月吧。”小马哥说。</P>
“那还算正常。AlphaGo能战胜李世石,也是准备很多年时间,这套算法是可以的。”常乐说。</P>
“万里长征第一步,这个事急不得。”任总说:</P>
“据我所知,我们的脚步不算慢。”</P>
“说的也是。”</P>
众人来到wechatGpt数据模型训练中心。</P>
李飞对着正在训练的模型向众人介绍道:</P>
“各位老总,一年多以前,我们搭建了第一代模型,采用了无监督的训练方法,对互联网文本大规模训练,使模型具备了初步理解语言结构并生成类似语言的能力。”</P>
“半年多以前,大模型迭代到第二代。采用更大的互联网数据集进行训练,生成了更强大的模型。”</P>
“到了第二代,它已经能够生成连贯而流畅的段落,具体形容就像一个中学生的作文,是优秀作文的那种。”</P>
“一个月以前,模型已经迭代到第三代。”</P>
“规模、性能都取得显着突破,参数更是突破2000亿。”</P>
“问答、翻译、摘要等方面已经相当于人类的水平。”</P>
“还可以撰写连贯优美的文章以及文艺性的诗歌。”</P>
“也能写一些简单的代码,但是在情感表达上有些不伦不类。”</P>
介绍到这里,李飞亲自示范。</P>
他问“生命的意义是什么?”</P>
wechatGpt:“生命的意义是一个深奥又复杂的话题,不同的人可能会有不同的答案,通常有如下几类观点:一是实现个人价值……”</P>
这个回答,中规中矩没有丝毫特色。</P>