DeepSeek开发主要采用了以下技术：

1. 混合专家模型（MoE）

   通过低秩因子分解技术将模型拆分为多个专家模块，根据输入动态激活相关模块，显著降低推理时的计算量和内存消耗。

2. 多头潜在注意力机制（MLA）

   优化Transformer架构中的KV缓存，减少内存占用约90%，提升推理效率，突破传统Transformer的瓶颈。

3. 数据蒸馏与合成数据

   使用数据蒸馏技术精炼训练数据，并结合高质量合成数据，实现无监督微调，降低数据成本并提升推理能力。

4. 强化学习与多智能体系统

   开发GRPO等强化学习算法，支持多智能体协同工作，应用于游戏、机器人控制等复杂任务。

5. 硬件与算法优化

   • 直接使用PTX汇编语言操控GPU指令集，适配国产芯片并最大化算力利用率；

   • 通过超算资源动态调度系统整合全球算力，加速大模型训练。

总结 ：DeepSeek通过架构创新（如MoE、MLA）、数据与算法优化（蒸馏、合成数据、强化学习），以及硬件适配技术，实现了低成本、高效率的AI模型开发与推理。