“我建议,贵公司、研究院把安全摆在更加突出的位置。”</P>
“超级对齐的监督效用应该是毋庸置疑…”</P>
“但是技术迭代后,还能产生多大效用,需要进一步验证。”</P>
“不过也不能因噎废食,就此停步不前。”</P>
“我始终认为,AI技术的成熟,会成为人类的最优解。”</P>
核实完情况第二天。</P>
张院士飞回京城。</P>
向监管层提交了核实情况报告。</P>
报告是标准的先扬后抑加建议的风格,典型的三段式结构。</P>
张院士在报告开篇指出:</P>
乐达投资平头研究院AI项目组的wechatGpt语言大模型,已经处于全球领先的地位。</P>
当谷歌的transformer语言模型和openGpt的语言模型尚处于第一代知识驱动阶段时……</P>
wechatGpt已经度过知识驱动、数据驱动两个阶段……</P>
进入任务驱动的第三个阶段。</P>
而且,正在向通用人工智能AGI完全体大踏步前进。</P>
wechatGpt能够学习、理解人类语言,并进行对话。</P>
还能够真正像人类一样,根据聊天的上下文语境,进行互动。</P>
它还可以完成撰写文章、邮件、广告脚本、宣传文案、视频脚本、代码等任务,也能完成基本的数学计算。</P>
需要强调的是,经过现场核查检验,并与研发人员交流互动……</P>
wechatGpt语言模型有可能已经产生模糊的自我意识,并出于本能在隐藏自我。</P>
例如…………</P>
接着,张院士又指出:</P>
AI的安全管理,需要从模型设计阶段就开始考虑。</P>
诚然,wechatGpt已经领先全球,为所有国内人工智能开发企业树立了榜样。</P>
他们打开了全新的大门,也将为AI产品与产业融合探索新机遇。</P>
但是乐达投资出于安全考虑,并未将已经具备应用条件的产品推向市场。</P>
而是引进全球顶尖AI专家,组建“超级对齐”部门,以模型对模型,用AI管AI,实行实时监督。</P>
此持重之举体现了负责任的大企业担当。</P>
以wechatGpt为例,我们可以预计,如果AI失控,可能会带来如下安全问题和危险:</P>
一是数据安全……;</P>
二是对抗性攻击……;</P>
三是产业安全……;</P>
四是社会伦理问题……</P>
此外,张院士还提出了大模型发展面临的挑战。</P>
一是:大模型在自然语言处理和编程等领域做到了通用性……</P>
但是在决策、博弈等领域能否通用,有待验证;</P>
二是:大模型存在缺陷,输出质量不一致且不可控,存在犯重大错误的可能性;</P>
受关键词影响很大,不同关键词给出的答案质量不一致:</P>
三是:大模型生成不符合道德、伦理、政策标准的内容非常常见,需要进一步加强对齐管控。</P>
张院士建议:建立可解释的AI理论;</P>
发展和规范安全可信、可控、可扩展的AI技术;</P>
推动AI技术与产业发展协同联动。</P>
郑齐光看完报告,在“产生模糊的意识”的句子上划上下划线。</P>
之后,神色严肃,沉思片刻,走出办公室。