陕西省重点新闻网站  三秦都市报官网

百度发布文心大模型5.0

百度发布文心大模型5.0

三秦都市报-三秦网讯(记者 王媚)11月13日,百度正式对外发布文心大模型5.0。该模型参数量达2.4万亿,采用原生全模态统一建模技术,具备全模态理解与生成能力,支持文本、图像、音频、视频等多种信息的输入与输出。  

据了解,文心大模型5.0基础能力全面升级,在多模态理解、指令遵循、创意写作、事实性、智能体规划与工具应用等方面表现突出,拥有强大的理解、逻辑、记忆和说服力。

百度创始人李彦宏会上表示,大模型技术在快速迭代,其智能水平不断突破极限,模型思考时间变长,原生全模态统一,将自我学习和迭代,具备创新能力。智能本身是最大的应用,而技术迭代速度是唯一护城河。百度会持续投入、研发更前沿的模型,推高智能天花板。

百度首席技术官王海峰介绍,文心大模型5.0是新一代原生全模态大模型。不同于业界多数的多模态模型采用后期融合的方式,技术路线是采用统一的自回归架构进行原生全模态建模,理解与生成一体化。

从训练开始便融合语言、图像、视频、音频等多模态数据,使得多模态特征在统一架构下充分融合并协同优化,实现原生的全模态统一理解与生成。

依托飞桨深度学习框架,文心大模型5.0采用超稀疏混合专家架构,进行庞大的全模态训练,总参数规模超过2.4万亿,激活参数比例低于3%,在保持模型强大能力的同时有效提升推理效率。同时,基于大规模工具环境,合成长程任务轨迹数据,并采用基于思维链和行动链的端到端多轮强化学习训练,提升模型的智能体和工具调用能力。

目前,文心大模型5.0 Preview已同步上线文心App,用户可直接体验;开发者和企业用户也可通过百度千帆大模型平台,调用文心大模型5.0 API 服务。

(编辑:薛璐(见习))

(责编:张彦刚)