DeepSeek部署完成后,可通过命令行或配置文件启动服务,核心步骤包括环境检查、参数配置和运行命令。
-
环境检查
确保系统已安装Python 3.8+及依赖库(如PyTorch、Transformers),运行python --version
和pip list
验证环境。GPU用户需确认CUDA驱动和cuDNN版本兼容。 -
参数配置
修改部署目录下的config.yaml
或启动脚本,关键参数包括:model_path
:模型文件路径port
:服务监听端口(默认8000)device
:指定CPU/GPU(如cuda:0
)
-
启动命令
根据部署方式选择:- 直接运行:执行
python app.py
或python -m deepseek.serve
,日志显示“Server started”即成功。 - Docker启动:运行
docker-compose up -d
,需提前配置镜像和端口映射。 - 服务化启动(Linux):通过
systemctl
管理,需编写.service文件并设置自启。
- 直接运行:执行
-
验证服务
访问http://localhost:8000/docs
(或自定义端口)查看API文档,或发送测试请求:bashCopy Code
curl -X POST http://127.0.0.1:8000/chat -H "Content-Type: application/json" -d '{"message":"你好"}'
提示:若启动失败,检查日志中的报错信息(如端口冲突、显存不足),调整参数后重试。长期运行建议搭配Nginx反向代理和进程守护工具(如Supervisor)。