腾讯副总裁蒋杰：对峙技能自主可控，腾讯混元已深度应用于400+业务 ...

我爱内斯塔 · 2024-5-14 14:26:44

在4月26日—28日举行的第十七届中国电子信息年会上，腾讯公司副总裁蒋杰表现，腾讯专注于自主可控的大模子技能发展门路，聚焦底子研究，正在使用自身积聚和气力构建底层算力网络，开辟练习框架，不停迭代技能，积极落地新应用，推动人工智能+及新质生产力发展。

腾讯公司副总裁蒋杰

腾讯混元是腾讯基于全链路自主可控技能打造的天生式大模子，自2023年9月初次表态以来，通过连续迭代和实践，积聚了从底层算力到呆板学习平台再到上层应用的完备自主技能。现在，腾讯混元大模子参数目已到达万亿，tokens数目凌驾7万亿。国际权势巨子调研机构沙利文发布的《2024年中国大模子本领评测》表现，腾讯混元在通用底子本领和专业应用本领已居国内第一梯队。
算法层面，腾讯混元大模子率先接纳混淆专家模子 (MoE) 布局，并在这个过程积聚大量自研技能，此中包罗创新的专家路由Routing算法、独创的MoE Scaling Law机制以及合成数据技能，实现模子总体性能相比上一代Dense模子提拔50%。
练习和推理框架上，腾讯自研Angel呆板学习平台面向大模子练习，在预练习、模子精调、强化学习多个阶段举行优化，相比业界开源框架，可以用更少的资源练习更大的模子，练习速率是主流框架的2.6倍；面向大模子推理，Angel呆板学习平台实现本钱相比业界主流框架降落70%，支持国产主流硬件的适配。
算力层面，腾讯拥有自研星脉高性能盘算网络，利用领先的3层网络架构，可支持单集群12.8万卡规模，具备业界最高的3.2T通讯带宽，可提拔40%的GPU使用率，节流30%—60%的模子练习本钱，为AI大模子带来10倍通讯性能提拔。别的，星脉网络中的互换机、光模块、网卡均是腾讯全链路自研。

会上，中国电子学会正式颁发2023中国电子学会科学技能奖。腾讯团结北京大学、北京科技大学共同研制的项目《面向大规模数据的Angel呆板学习平台关键技能及应用》荣获科技进步一等奖。由多名院士等权势巨子专家构成的判定委员会以为：Angel呆板学习平台技能复杂度高、研制难度大、创新性强，应用远景广阔，团体技能到达国际先辈程度。

创新技能的同时，腾讯也在连续探索大模子在各行业场景中的现实应用。现在，腾讯混元大模子已经支持腾讯集会、企业微信、腾讯文档等内部凌驾400个业务和场景接入，并通过腾讯云，面向企业和个人开辟者全面开放。腾讯旗下协作SaaS产物已经全面接入腾讯混元大模子，腾讯乐享、腾讯电子签、腾讯问卷、腾讯云AI代码助手等协作SaaS产物也都已实现智能化升级。
据蒋杰现场先容，现在腾讯混元大模子也在文生图、图片明白和天生、视频天生等多模态方向举行技能探索，并携手互助同伴实验落地应用，在传媒范畴，现在，新华社、央视消息、南边都市报等20多家媒体也深度利用腾讯混元视频天生、文生图等举行内容生产和创作提效。

腾讯副总裁蒋杰：对峙技能自主可控，腾讯混元已深度应用于400+业务 ...

所属分类: 问答交流

新帖推荐: 30日

推荐作品