摘录来源
- 来源:DeepSeek 对话
- 剪藏时间:2025-07-04
📌 摘录(核心方案)
Docker 启动 Xinference(GPU)
docker run --name xinference -d `
-p 9997:9997 `
-e XINFERENCE_HOME=/data `
-v E:\xinference\data:/data `
-v E:\xinference\scripts:/scripts `
--gpus all `
--shm-size=2GB ` # 解决 NCCL 共享内存问题
--restart=always `
xprobe/xinference:latest `
xinference-local -H 0.0.0.0关键点
--shm-size=2GB:解决 NCCL 共享内存不足- 挂载
scripts/目录:通过启动脚本自动加载模型 - 第一次用命令行启动(便于 UI 下载模型),后续用 compose 自动加载
- Windows 编写 .sh 脚本需转 Unix(LF) 格式(Notepad++ 编辑→格式→转换)
自动加载模型脚本(简化)
xinference launch --model-name qwen3 --model-type LLM \
--model-engine vLLM --model-format awq \
--size-in-billions 32 --quantization Int4 \
--n-gpu 2 --max_model_len 16384💭 我的想法 / 关联
- 为什么存:本机 GPU 跑大模型服务的完整部署方案。
- 启发点:脚本里
wait_for_service+load_models分离的模式很实用;健康检查用 curl 而非依赖复杂工具。 - 注意:embedding/rerank 模型默认开 FlashAttention,30 系以下显卡不支持需注释掉。