DeepSeek R2大模型已全面采用华为昇腾910B芯片,彻底摆脱对英伟达的依赖,其混合专家模型(MoE)参数量达1.2万亿,推理成本比GPT - 4降低97.4%,性能约为英伟达A100集群的91%。
DeepSeek此前使用的芯片来源较为多元,包括华为的升腾芯片以及英伟达的H100和H800芯片。在之前的发展过程中,DeepSeek为了满足模型训练和推理需求,运用了多种芯片资源。例如,其R1/V3推理服务完全基于华为升腾AI芯片运行,并且使用了约2000个英伟达的H800芯片进行训练,还有约5万个H100芯片。
不过,从最新的DeepSeek R2来看,情况发生了重大转变。DeepSeek R2大模型完全基于华为昇腾910B芯片,在运算性能上表现出色,在FP16精度下,计算性能能达到512 PetaFLOPS,芯片利用率高达82%,整体性能约为英伟达上一代A100集群的91%。
芯片的使用不仅关乎模型性能,还对成本有着重要影响。像DeepSeek R2在单位推理成本上实现了巨大突破,输入每百万个字元仅需0.07美元,输出每百万个字元仅0.27美元,比OpenAI的GPT - 4降低了97.4%。
在合作方面,除了芯片供应商,DeepSeek还与其他一些上市公司有合作。比如浪潮信息为其提供AI服务器集群,配备了英伟达H800和自研的AIStation管理平台,不过在R2项目中,应是基于华为相关平台;中科曙光负责承建训练中心的液冷系统,保障设备稳定;航锦科技旗下子公司提供光模块和交换机支持数据传输协作;还有科大讯飞、金山办公等相关合作。
总体而言,DeepSeek在芯片选择上经历了转变,从多芯片使用到全面采用华为昇腾910B芯片,这一举措不仅提升了模型性能、降低了推理成本,也显示出国产AI芯片的发展潜力以及与国际芯片在AI领域竞争中逐渐显现的优势。