DeepSeek开源DeepEP,芯片需求激增
AI导读:
DeepSeek宣布开源DeepEP,支持高效全对全通信和低精度计算,优化非对称带宽转发场景。此消息引发业界关注,同时英伟达AI芯片需求大增,多家互联网巨头订单激增,显示市场对算力需求的乐观预期。
Deepseek开源周第二弹!上周五,DeepSeek宣布连续五天开源五大软件库,今日选择在GitHub上线DeepEP,并在官推发布上新通知。约20分钟后,DeepEP已在GitHub、微软(MSFT.US)等平台获超千星收藏。
据悉,DeepEP是MoE模型训练和推理的ExpertParallelism通信基础,支持高效全对全通信和低精度计算,特别优化了非对称带宽转发场景,提供高吞吐量和流式多处理器数量控制,实现高性能。此消息引发业界关注。
此外,DeepSeek API开放平台已重新开放充值,DeepSeek-Chat模型价格调整。此前因资源紧张,曾暂停充值。
DeepEP开源引关注:DeepSeek在官推宣布开源DeepEP,这是首个用于MoE模型训练和推理的开源EP通信库。其特点包括高效全对全通信、高吞吐量内核、低延迟内核等,支持低精度操作,应对MoE架构扩展挑战。
资料显示,MoE架构提高模型容量,但带来GPU通信挑战。DeepEP解决调度和聚合令牌低效率问题,简化数据交换。支持自适应配置,提高灵活性。
芯片需求激增:据路透社报道,DeepSeek推出后,英伟达AI芯片在中国市场需求大增。多家互联网巨头对H20芯片订单激增,医疗保健、教育等领域小企业也开始采购配备DeepSeek模型和英伟达芯片的服务器。
同时,美国政府收紧对华芯片出口限制,但知情人士认为DeepSeek是订单增加的主要原因。此外,阿里Qwen团队发布新推理模型QwQ,支持深度思考和联网搜索,引发算力需求激增。
智算龙头公司寒武纪股价大涨,GPU概念股冲高,显示市场对算力需求的乐观预期。
(文章来源:券商中国)
郑重声明:以上内容与本站立场无关。本站发布此内容的目的在于传播更多信息,本站对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至yxiu_cn@foxmail.com,我们将安排核实处理。