24GB
DeepSeek满血版(R1-671B)的显存需求如下:
-
显存需求
-
FP8精度 :约800GB显存(671B参数×8位/参数)
-
INT4量化 :约400GB显存(671B参数×4位/参数)
-
-
实际部署方案
-
单卡方案 :清华大学KTransformers团队通过技术优化,单张24GB显存的RTX 4090显卡即可运行满血版,显存使用量降低30%。 - 多卡方案 :传统部署需8张141GB显存显卡(如H200或H20),但超聚变方案仅需8张96GB显存H20显卡。3. 对比与建议
-
高显存方案 :8卡RTX 4090(24GB显存)功耗14400W,适合高性能计算场景。 - 低功耗方案 :2台8卡H20(96GB显存)功耗6400W,电费节省44%,适合预算有限或对功耗敏感的场景。 总结 :DeepSeek满血版可通过单卡24GB显存或多卡96GB显存实现,具体选择需根据预算、功耗和性能需求权衡。
-