2024-07-30 18:48 点击次数：165
专题：2024中国企业当年之星年会东流影院
当年可期，万物可生
文|《中国企业家》记者 闫俊文
激萌系列剪辑|姚赟
图片开端|中企图库
7月27日，由《中国企业家》杂志社主持的2024（第二十四届）中国企业当年之星年会在上海举行。在“前沿微课”要领，腾讯隆起科学家、腾讯混元大模子时刻厚爱东谈主之一刘威作东题共享。演讲中，刘威先容了腾讯混元大模子的阐述以及应用情况。
精彩不雅点如下：
1．我将AI的发展周期永别为四个阶段：第一阶段是符号主义；第二阶段是连合主义，标志性事件是2012年Hinton发明的8层卷积神经网罗；第三阶段，援用一位AI科普作者的说法，称为现实主义，即深度强化学习，标志性事件是2016年DeepMind发明的AlphaGo；刻下AI投入了第四阶段，即生成主义，标志性事件是2022年末OpenAI发明的ChatGPT。
2．对于大模子的时刻门道一直存在争议，即模子尺寸是否需要不休增大。干系词，当有更好的模子磨真金不怕火算法时刻时，模子是否会变得越来越小——咱们的时刻恰是匡助用户定制化蒸馏和微调模子。
3．只是依靠东谈主类的对皆技能，大模子的智能水平很难逾越东谈主类。对皆指的是与东谈主类对皆，与东谈主类的价值不雅和世界不雅对皆。数学和物理都是东谈主类通过几千年的当然不雅察索要追思而成的，而AI无法自主创造这些常识，因此AI必须向东谈主类学习这些常识。
以下为刘威的演讲实录（有改变）：
咱们从东谈主工智能的隆冬一齐走到当今，资历了多个时间。我在学习东谈主工智能时，觉得其时的时刻处于“旧石器期间”。自后，咱们历经了新石器期间、青铜器期间、铁器期间和蒸汽期间，如今AI时刻正处于“电力期间”。从旧石器期间到电力期间，AI仅用了20多年就完成了立异性的迭代。
我将AI的发展周期永别为四个阶段：第一阶段是符号主义；第二阶段是连合主义，其标志性事件是2012年Hinton发明的8层卷积神经网罗；第三阶段是援用一位AI科普作者的话称为现实主义，即深度强化学习，标志性事件是2016年DeepMind发明的AlphaGo；刻下AI仍是投入第四阶段，即生成主义，其标志性事件是2022年末OpenAI发明的ChatGPT。
2023年1月，不管是国内公司照旧海外公司，都在聚首力量，自主研发对标ChatGPT的生成式AI大模子。要是说2023年是生成式AI爆发的元年，那么2024年显豁是多模态生成式AI爆发的元年。
腾讯混元的阐述
腾讯混元模子体系遮盖了从底层到表层的各个层级，包括单行家模子和搀杂行家模子（MoE），在最表层是平庸的应用。国内绝大巨额模子是单行家的，腾讯则同期在单行家和MoE模子上都作念了许多探索。
在2023年9月，咱们推出了小设施版块，当今不错在微信小设施中搜索到“腾讯元宝”。其时的模子参数达到了千亿级别，磨真金不怕火数据包括了万亿的文本token。到2023年底，咱们仍是竣事了万亿参数的MoE模子。刻下，咱们仅在文本token方面的积存就尽头于世界通盘藏书楼的总额。我常和一又友们说，token是源源不休的资源，不错将1秒钟的语音手脚一个token，也不错将10秒钟的语音手脚一个token，甚而不错将一个像素手脚一个token。不同轨范下的多模态token使咱们的token数目不休加多，模子参数表面上也会越来越大。
咱们的中枢时刻遮盖了底层、中层和高层，腾讯仍是领有了十万卡集群。英伟达四年前收购的以色列公司Mellanox因循万卡集群。中间层的磨真金不怕火框架包括开源的DeepSpeed和PyTorch，和腾讯自研的Angel。当今咱们不仅因循稀少的MoE模子打算，也因循昌盛模子打算。咱们有多种模子版块，如Lite版块和Pro版块，收费相配低廉，Lite版块澈底免费。
对于咱们的全栈时刻，领先，万卡集群显豁弗成只将最高端的GPU放在一谈。就像我心爱看的武侠演义中的“天罡北斗七星阵”，些许低端的GPU协力能匹配一块高端GPU的算力，咱们也竣事了4D并行GPU打算。对于大模子的时刻门道一直存在争议，即模子尺寸是否需要不休增大。干系词，当有更好的模子磨真金不怕火算法时刻时，模子是否会变得越来越小——咱们的时刻恰是匡助用户定制化蒸馏和微调模子。
对于生成式大模子，要是不懂AI或时刻的东谈主，可能会觉得大模子只是聊天机器东谈主，似乎莫得更大的用处。就在这个月，OpenAI再行界说了生成式AI的五个脉络，其中L1是聊天机器东谈主，GPT-3.5仍是糜费用了，当今国表里有许多模子逾越了GPT-3.5。第二个脉络是优秀的推理才智。干系词，幻觉和推理是两个矛盾的见地，生成式AI势必会有幻觉。
咱们频繁提一个问题：树上有十只鸟，开枪打死了一只鹰，还剩几只鸟？大模子可能会回应还有九只。不管是推理照旧逻辑罗网，咱们觉得应该用新时刻来处理。追思业内和腾讯的原创时刻，有两套方法：
领先是通过数据增强擢升推理巩固性的方法，其次是通过模子增强擢升推理精确度的方法。咱们有一个假定或揣测，仅依靠东谈主类的对皆技能AI很难逾越东谈主类。对皆指的是与东谈主类对皆，与东谈主类的价值不雅和世界不雅对皆。数学和物理是东谈主类通过几千年对当然界的不雅察索要追思出来的，而AI无法自主创造这些常识，是以需要向东谈主类学习。相似，咱们有社会性（society），包括东谈主类的举止规章和组织规章，AI对此一无所知。
最近，OpenAI提议，他们不仅要竣事AGI（通用东谈主工智能），还要竣事ASI（超等东谈主工智能），因此AI必须通过自我学习进行对皆和升级。要是一个AI无法推理，东谈主类若何能匡助它推理？东谈主类不错写一个很长的教导词（Prompt），告诉它如何推理，但几年后，ChatBot可能就不再灵验了。因此，AI的推理才智必须从被迫推理变为主动推理。
AI从被迫推理到主动推理
如何竣当事者动推理？咱们提议了三个决策：
第一个决策是东谈主类构造一些语料让AI学习。对于每一个逻辑推理类问题，除了想考（think）还要进行考据（verify），且逐渐考据（step by step），即think step by step，然后verify step by step，通过数据增强的神气使AI的推理经由愈加巩固，从而擢升自主推理才智。
决策二和决策三是OpenAI最近在两篇论文中提议的。决策二是月旦机制，创建一个月旦模子对方针模子的回应进行打分评估，即自我月旦式的学习；在对方针模子磨真金不怕火指示微调时，月旦模子会在磨真金不怕火经由中奉告模子磨真金不怕火的截止，从而优化磨真金不怕火质料。决策三应用了自博弈学习的想想，这是OpenAI提议的一种全新磨真金不怕火框架——Prover-Verifier Games（简称“PVG”）。业内仍是在尝试这三个决策，但愿通过这些方法擢升AI的推理才智，竣事AI主动推理，而不再是被迫的效轨范推理。
2024年，学界工业界在沟通什么是世界模子？我觉得世界模子至少应具备两种秉性：雄伟的推理才智与模拟才智。大谈话模子如GPT，在Scaling Law的指点下，压缩海量的世界常识，逐渐会成为一个world reasoner（世界推理器）。扩散模子如文生图、文生视频模子，也在Scaling Law的指点下，对不同概率散播的数据集进行体式变换，最终会酿成一个world simulator（世界模拟器）。我觉得世界模子的最好状貌是联结world reasoner和world simulator，这将草创一个新的AI期间。
软件的当年便是生成式AI
本年5月，腾讯率先在国内开源了基于DiT框架的文生图模子。随后，腾讯开源了一套控件器具体系，既提供基础模子，又提供径直使用的模子微调器具，且通盘语料均经过筛选，适当华文秉性。该模子对中国的原土作风相配了解，概况很好地生成多主体践诺，如东谈主与东谈主、东谈主与宠物的互动，更遑急的是因循多轮对话生成作图。
咱们仍是竣事了文生视频、文+图生视频及多种视频生成应用，这些应用仍是用于腾讯云和腾讯告白的工作中。比如作风化视频、运下笔刷、东谈主物视频生成、画布推广等，还能将横屏视频退换为竖屏视频。刻下，腾讯有700多个产物和业务接入了腾讯混元大模子。
有东谈主问腾讯为怎样此拥抱生成式AI？我觉得软件的当年便是生成式AI。微信的输入法、“搜一搜”功能仍是是生成式的。腾讯文档、腾讯会议也都接入了腾讯混元大模子，腾讯会议小助手在会前、会中、会后都有生成式AI功能。几个月前，咱们发布了腾讯的“告白妙想”平台，提供一站式的AIGC才智，不错一键生成图文书白、视频告白，涵盖多种作风、多项尺寸，适配多个行业（如游戏、电商、土产货生存等）。
在生成式AI期间，我想对人人说：当年可期，万物可生。
新浪声明：通盘会议实录均为现场速记整理，未经演讲者审阅，新浪网登载此文出于传递更多信息之办法，并不虞味着赞同其不雅点或说明其姿首。
海量资讯、精确解读，尽在新浪财经APP
包袱剪辑：梁斌 SF055东流影院