DeepSeek蒸馏模型有哪些？

DeepSeek在发布DeepSeek-R1后，推出了多个基于不同规模的Qwen和Llama架构的蒸馏模型，这些模型旨在将大模型的推理能力迁移到更小、更高效的模型中，以实现高性能和高效率的结合。

1. DeepSeek-R1-Distill-Qwen系列

• DeepSeek-R1-Distill-Qwen-1.5B：基于Qwen架构的1.5B参数模型。
• DeepSeek-R1-Distill-Qwen-7B：基于Qwen架构的7B参数模型，在AIME 2024基准测试中取得了55.5%的成绩，超越了QwQ-32B-Preview。
• DeepSeek-R1-Distill-Qwen-14B：基于Qwen架构的14B参数模型。
• DeepSeek-R1-Distill-Qwen-32B：基于Qwen架构的32B参数模型，在多个测试中表现优异，包括AIME 2024、MATH-500和LiveCodeBench。

2. DeepSeek-R1-Distill-Llama系列

• DeepSeek-R1-Distill-Llama-8B：基于Llama架构的8B参数模型。
• DeepSeek-R1-Distill-Llama-70B：基于Llama架构的70B参数模型，在AIME 2024和MATH-500基准测试中创造了新的纪录。

这些蒸馏模型通过知识蒸馏技术，将DeepSeek-R1的强大推理能力迁移到更小的模型中，使其在资源受限的环境中也能高效运行，同时保持较高的性能水平。

总结

DeepSeek的蒸馏模型系列包括基于Qwen和Llama架构的不同规模的模型，这些模型通过知识蒸馏技术实现了高性能和高效率的结合，为各种应用场景提供了灵活的选择。