VLLM服务端启动ChineseErrorCorrector3-4B模型

先贴命令

vllm serve /www/models/Qwen/ChineseErrorCorrector3-4B \
    --max-model-len 10240 \
    --dtype float16 \
    --max-num-batched-tokens 10240 \
    --gpu-memory-utilization 0.4 \
    --max-num-seqs 512 \
    --host 0.0.0.0 \
    --port 8004 \
    --served-model-name csc-3B

这条命令的作用：用 vLLM 高性能推理框架，把中文纠错模型 ChineseErrorCorrector3-4B 启动成兼容 OpenAI 接口格式的 HTTP 推理服务，外部程序可通过 8004 端口调用文本纠错能力。

 

vllm servevLLM 提供的服务启动子命令，自动内置 OpenAI 兼容 REST API（/v1/completions、/v1/chat/completions），无需自己封装接口。

/www/models/Qwen/ChineseErrorCorrector3-4B本地模型权重文件路径，指向 4B 参数中文文本纠错模型（CSC 错别字校对模型）。

--max-model-len 10240

模型最大支持输入 + 输出总 token 长度 10240。

适合长文本纠错场景（长篇文档、案卷、文章批量校对），超过长度会截断输入。

 

--dtype float16模型权重 / 推理计算使用 FP16 半精度：

显存占用减半，相比 FP32 节省大量显存；速度更快，绝大多数 Nvidia GPU 原生支持 FP16 加速；纠错类模型对精度不敏感，FP16 不会明显降低校对准确率。

--max-num-batched-tokens 10240

单次推理批处理中，所有并发请求的 token 总和上限 10240。

用来防止瞬间大量长文本请求撑爆显存，和 max-model-len 配套管控显存负载。

 

--gpu-memory-utilization 0.4限制模型 + KV 缓存最多占用40% GPU 显存（0.4 = 40%）。

预留 60% 显存给系统、其他进程、突发 KV 缓存；多模型混跑、显卡同时跑其他任务时常用低利用率；纯单模型独占显卡可调高至 0.8~0.95 提升并发。

--max-num-seqs 512服务同时允许最多 512 条并行推理序列（并发请求）。

短文本纠错场景可拉高，支持高 QPS；长文本场景建议降低，避免 KV 缓存暴涨 OOM。

--host 0.0.0.0监听本机所有网卡地址，允许局域网 / 其他服务器远程访问接口；若写 127.0.0.1 则仅本机可调用，外部无法连接。

--port 8004HTTP 服务监听端口，调用地址示例：http://服务器IP:8004/v1/chat/completions

--served-model-name csc-3B

API 请求时需要指定的 model 参数名称，不用填冗长模型路径。

调用示例请求体片段：

{
  "model": "csc-3B",
  "prompt": "需要纠错的原文"
}