27b · 引擎 2026-10-06 · 路由 2026-09-11
27b 质量线
同一套 27b 权重，名字决定是否注入。2026-09-11 起裸引擎零注入，作词 / 封面 brief 不再被 mill 人设叠一层。
集群后端：TP=2 · Qwen3.8-27B-AWQ-INT4-HEAD4 · 上下文上限 131072 token（建议 prompt ≤128K）· KV TQ3（2026-10-06）。运维细节见 服务端 · 仓库 llm-27b-up。
| model | 注入 | 干什么 |
|---|---|---|
clavue-2.1 / tools-clean | 有 · /opt/clavue-27b-system.txt | 开发 / Agent / 工具。 mill 人设仍在 |
qwen3.8:27b / clavue-2-raw | 无 | 调用方自带 system。作词、caption、封面 brief、TTS 稿走这条 |
clavue-2-code | 有 · 领域提示词 + 仓库检索前置 | 11401 自动 BM25 文件头并只准 edit。见 检索前置 |
| 其它 clavue-2-* 领域别名 | 有 · 领域提示词 | 按别名任务规则。不要拿来写词 |
| 内网 | http://192.168.2.100:11401/v1 或 :30081/v1 |
| 公网 | https://ttkk.inping.com/v1 · https://ttqq.inping.com/v1 |
| 鉴权 | 内网可不带。公网 Bearer |
| 超时 | 短轮 60s，改代码 / 长稿 ≥ 180s |
| max_tokens | ≥ 4096；须满足 prompt_tokens + max_tokens ≤ 131072 |
| 流式 | stream: true |
容量与并发（TP=2 生产池）
后端 Deployment vllm-qwen38-27b-lora：10 副本（每副本 2×3080 20G，共 20 卡）。下列为引擎能力上限；网关排队时实际并发可能更低。
| 维度 | 单副本（1×TP=2） | 全集群（10 副本） |
|---|---|---|
| 调度并发（短/中文上下文） | 64 路 | 640 路 |
| 满窗并发（每条 ~128K 上下文） | 约 7 路 | 约 74 路 |
| 单请求总上下文 | 131072 token（prompt + 输出合计） | |
| 单请求最大输出 | 131072 − prompt_tokens（无单独输出硬顶） | |
| 长 prefill 建议超时 | ≥ 180s（9 万 token 量级 prefill 约 2 分钟） | |
满窗 7 路来自 KV 池（约 97 万 token/副本）；短对话 64 路来自 max-num-seqs。不要假设 64 路同时各带 128K prompt。
产品名 clavue-2.1（仍注入）
- 认宿主：agent 出 tool_calls；cli 出可粘贴命令；代码给完整可运行。
- 正确率优先。KISS / YAGNI。没点名重构就不清整堆。
enable_thinking: false。有 tools 就用调用方的工具名。- 客户端 system 会和 mill 人设合成一条。
裸名 qwen3.8:27b（零注入）
curl -sS http://192.168.2.100:11401/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
"model": "qwen3.8:27b",
"messages": [
{"role":"system","content":"你是这首歌的作词家。只输出歌词。"},
{"role":"user","content":"写四句副歌，主题雨夜码头。"}
],
"max_tokens": 2048
}'
无 caller system 时是通义/助手，不是 Clavue mill。写代码若要 mill 人设，改打 clavue-2.1。
不要
- 不要把作词 / 封面 brief 打到
clavue-2.1或clavue-3-chat。 - 不要打 35b 做 IDE 写代码。
- 不要假设裸
qwen3.8:27b还会叠clavue-27b-system.txt——已经关掉。