AI导读:

蚂蚁集团采用国产AI芯片训练大模型,推出两款领先业界的MoE大语言模型,并在低性能硬件上实现高效训练,降低了训练成本。此外,蚂蚁还在AI应用与人形机器人领域持续加码,探索新的增长点。

蚂蚁集团采用国产AI芯片训练大模型,此举有望进一步降低训练成本。近日,蚂蚁集团Ling团队发布了一篇技术成果论文,详细介绍了两款MoE大语言模型——百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus)。Ling-Lite参数规模为168亿,而Ling-Plus基座模型参数规模高达2900亿,两款模型性能均达到业界顶尖水平。

除了推出领先的大模型外,该论文最大的亮点在于提出了一系列创新方法,旨在提升资源受限环境下AI开发的效率。实验显示,其3000亿参数的MoE大模型能够在国产GPU的低性能设备上高效训练,性能与采用英伟达芯片的稠密模型及MoE模型相当。这一突破有助于降低AI开发门槛,推动技术普惠。

蚂蚁集团自研大模型实现低性能硬件高效训练

蚂蚁集团Ling团队的技术成果论文《每一个FLOP都至关重要:无需高级GPU即可扩展3000亿参数混合专家LING大模型》已发布在Arxiv平台上。论文指出,尽管Deepseek、阿里通义千问等MoE大模型在特定任务中表现出色,但它们的训练通常依赖高性能计算资源,高昂成本限制了普及。而蚂蚁集团通过创新训练策略,成功实现了在不使用高级GPU的情况下扩展模型,降低了训练成本。

具体而言,Ling团队提出的创新策略包括动态参数分配、混合精度调度技术、自适应容错恢复系统以及自动化评测框架等。这些策略共同作用下,使得使用低规格硬件的训练成本降低了近20%,同时保持了与顶尖模型相当的性能。这一成果有望推动AI技术向更广泛的领域普及。

此外,蚂蚁集团还在AI应用与人形机器人领域持续加码。百灵大模型作为蚂蚁集团自研的大模型,已重点布局生活服务、金融服务、医疗健康等场景。蚂蚁集团CTO透露,基于百灵大模型的应用将是蚂蚁未来的重点方向。

在AI医疗领域,蚂蚁宣布了最新进展,发布了面向医疗机构、医生、用户三端的AI产品体系升级。同时,蚂蚁集团还在人形机器人领域展开布局,成立了上海蚂蚁灵波科技有限公司,聚焦具身智能技术和产品研发。该公司将致力于在家庭、养老、医疗健康等领域打造行业领先的机器人产品。

具身智能人形机器人作为新兴领域,具有广阔的市场前景和商业潜力。蚂蚁集团布局该领域,旨在探索新的增长点,并推动人机交互的新体验。此外,人形机器人技术还可以与蚂蚁集团现有的金融科技业务产生协同效应,共同推动技术创新和业务升级。

(文章来源:证券时报)