Kimi与清华大学合作开发的主要项目是 Mooncake ,这是一个以KVCache为中心的AI推理服务平台,旨在通过创新架构提升大模型推理效率。以下是关键信息梳理:
一、项目背景与核心技术
- 项目名称
-
官方名称: Mooncake: Trading More Storage for Less Computation
-
简称:KVCache-centric Architecture for Serving LLM Chatbot
- 技术核心
-
KVCache架构 :通过超大规模KVCache缓存池实现计算与存储分离,优化算力使用效率
-
存换算技术 :基于存换算的架构设计,显著提升推理吞吐量并降低延迟
- 应用场景
- 主要服务于大型语言模型(LLM)的推理需求,如Chatbot服务
二、项目进展与开源合作
- 研发阶段
-
2024年6月,Kimi与清华大学MADSys实验室联合发布初步成果
-
2024年11月,开源传输引擎TransferEngine,吸引1.2千颗星标
- 开源计划
-
2024年11月启动Mooncake开源计划,联合9#AISoft、阿里云、华为存储等机构
-
2025年2月,项目获得全球存储顶会FAST**论文奖
- 行业合作
- 与阿里云、华为存储、面壁智能、趋境科技等多家行业巨头合作,推动技术普及
三、项目意义与影响
-
技术突破 :通过KVCache和存换算架构,提升大模型推理效率30%以上
-
行业标杆 :成为全球AI推理领域的重要参考方案
-
开源生态 :全球开发者可免费使用传输引擎,加速大模型应用开发
四、其他关联项目
-
Mooncake Transfer Engine :作为Mooncake的核心组件,支持多模型并行推理
-
标准接口 :计划推出高性能、内存语义存储的标准接口
以上信息综合了多个权威来源,涵盖项目背景、技术细节、合作生态及行业评价。