蚂蚁集团AI技术突破:国产芯片助力成本降低20%
AI导读:
蚂蚁集团使用国产芯片开发了一种训练人工智能模型的技术,可将成本降低20%。该技术通过创新性训练策略,实现高效大语言模型训练,推动AI技术普惠化发展。蚂蚁集团已对此技术成果进行回应,表示将逐步通过开源分享。
3月24日,据悉,蚂蚁集团使用国产芯片开发了一种训练人工智能模型的技术,该技术可将AI训练成本降低20%,展现出显著的成本效益。
据中国基金报报道,蚂蚁集团采用了国产芯片,并基于“专家混合”机器学习方法来训练模型,取得了与英伟达H800等高端芯片相当的效果,实现了成本效益的最大化。这一技术突破对于推动AI技术的普及具有重要意义。
蚂蚁集团AI技术实现重大突破!据证券时报报道,蚂蚁集团Ling团队的技术成果论文已发表在预印版Arxiv平台上,详细介绍了该技术的实现原理和应用前景。
论文指出,虽然MoE大模型在特定任务中表现出色,但其训练通常依赖高性能计算资源,高昂成本限制了其普及应用。针对这一问题,Ling团队提出了创新性的训练策略,旨在突破资源与预算限制,实现高效大语言模型训练。
具体而言,团队提出的创新策略包括动态参数分配、混合精度调度、自适应容错恢复系统以及自动化评测框架等,这些策略共同构成了蚂蚁集团AI技术突破的核心。
据技术论文,蚂蚁集团利用优化方法,在五种不同的硬件配置上对9万亿个token进行预训练,结果显示,使用低规格硬件的训练成本将降至约508万元,相比高性能硬件配置节省了近20%,同时实现了与顶尖模型相当的性能。
此前,已有企业通过算法创新和工程优化,在性能较低的芯片上训练出了性能卓越的模型。蚂蚁集团的技术成果如果得到验证及推广,将进一步降低对高性能芯片的依赖,推动AI技术的普惠化发展。
蚂蚁集团最新回应称,针对不同芯片持续调优以降低AI应用成本,已取得一定进展,并将逐步通过开源分享这一技术成果,以助力更多企业和研究机构降低AI训练成本。
本文综合自21财经客户端、证券时报、中国基金报,旨在传递更多关于AI技术发展的前沿信息。
(文章来源:21世纪经济报道)
郑重声明:以上内容与本站立场无关。本站发布此内容的目的在于传播更多信息,本站对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至yxiu_cn@foxmail.com,我们将安排核实处理。