上一篇的链路里,大模型只干两件事:看标题勾编号,再根据勾中的正文写答复。
这两件事对模型的要求很不一样。勾选要读完整份标题和摘要,输出往往只有十几个字。作答读的是两三条全文,输出是一段话。所以换模型时,先看的不该是「谁更会聊天」,而是勾选那一次把时间花在了读,还是花在了写。
界面上能直接看见是哪一个模型在干活。同一次发薪问题,过程里写着「调用 Qwen3.6」,答复 5.6 秒回来。理解问题那一行写的是编排,本步不调用大模型。
展开勾选,输入框里是 35 条标题挤在同一次请求里,输出只有一个编号。读的篇幅和写的篇幅,在这一屏上是倒过来的。
一把开关
.env 里只改 MYCS_LLM:
glm 智谱 glm-4-flash-250414 ollama 局域网 110 上的 qwen2.5:7b qwen 局域网 175 上的 Qwen3.6 地址和模型名分开写好,切换时不动它们。qwen 这条指向 http://192.168.10.175:8000/v1,服务上报的模型名就是 Qwen3.6,上下文 262144 token,也就是 256K。改完执行 scripts/restart-dev.sh,问答服务才换过去。
仓库里的示例是:
MYCS_LLM=glm GLM_API_BASE=https://open.bigmodel.cn/api/paas/v4 OLLAMA_BASE_URL=http://192.168.10.110:11434/v1 OLLAMA_MODEL=qwen2.5:7b QWEN_BASE_URL=http://192.168.10.175:8000/v1 QWEN_MODEL=Qwen3.6 密钥只留在本机的 .env,不进仓库。MYCS_LLM 写成 qwen 或 ollama 时,不会因为本机还留着智谱的密钥就被拉回智谱。
27 秒那一次,慢在读标题
同一本三国演义,50 条问答,问「刘备和关羽什么关系」。qwen2.5:7b 的勾选用了 27.5 秒。它读了大约 3500 个 token 的标题和摘要,只写出 34 个 token,勾了两条。
生成不是瓶颈。整份列表要先被这个 7B 读完,而且当时几乎没有命中提示缓存。
同一类问题交给智谱 flash,勾选多在 1.2 秒到 2.7 秒,有一次同类问题到过 9.6 秒。Qwen3.6 读星河那 35 条并写完答复,发薪这题是 5.6 秒;把顶栏换成三国演义再问关羽、刘备和吕布,是 8.9 秒。
256K 的窗口装得下这 3500 个 token,并不等于小模型读得动这份列表。窗口够大,解决的是「装不装得下」;7B 的 27.5 秒,解决不了。
三套库,先看叙事,再看制度
11 月 21 日用同一条链路跑了三本已上线的库。三国和权游是智谱 flash。星河先用智谱,改完提示和核对之后又用 Qwen3.6 跑了同一套 13 题。
| 知识库 | 条数 | 模型 | 计入题数 | 完全正确 | 部分正确 | 答错 | 总耗时 | 单题 |
|---|---|---|---|---|---|---|---|---|
| 三国演义 | 50 | 智谱 flash | 11 | 10 | 1 | 0 | 84.7 秒 | 4.4–10.9 秒 |
| 权游知识手册 | 50 | 智谱 flash | 12 | 11 | 1 | 0 | 82.8 秒 | 2.8–11.5 秒 |
| 星河员工手册 | 35 | 智谱 flash,改提示前 | 13 | 7 | 3 | 3 | — | — |
| 星河员工手册 | 35 | 智谱 flash,改提示和核对之后 | 13 | 10 | 0 | 3 | 160.5 秒 | 平均约 12.3 秒 |
| 星河员工手册 | 35 | Qwen3.6 | 13 | 11 | 2 | 0 | 95.7 秒 | 3.3–12.3 秒,平均约 7.4 秒 |
叙事库在智谱上已经接近能用。三国唯一计入的缺口是灭亡顺序:先蜀、再魏、最后吴说对了,建晋的司马炎那一条没勾上,也没有编一个名字。权游 12 题的标题全部勾对,铁王座只写了龙焰,没写「数千把宝剑」——召回是对的,作答少写了。库外问题都拒了:三国库里问铁王座,权游库里问罗贯中。
「诸葛亮出征骑的什么马」不在上面的 11 题里。库里的坐骑是四轮车,题干先把它说成了马。
星河是另一档。改提示之前,13 题里完全正确只有 7 道。错和半对混在一起,而且两类原因不一样:
| 现象 | 例 | 出在哪一步 |
|---|---|---|
| 该勾的没勾 | 笔记本丢失、绩效目标、离职事项 | 勾选。摘要里已经有「设备丢失」、评估周期、归还资产 |
| 勾对了,结论写反 | 发薪补了一句「未检索到银行放假」;年假把 30 天上限当成余额;礼品改成可以收;离职编了一句结清年假 | 作答。原文已经在上下文里 |
所以下一刀没有加检索,也没有加向量。改的是作答提示、数量计算,以及核对不再「有条目就算过」。
同一套 13 题,改完之后再比一次
星河 35 条已上线。题从适用范围、发薪、年假,到礼品、离职和年终奖拒答。两次正式对照都是知识库已选定、理解问题不再请求模型。
| 智谱 flash(改后) | Qwen3.6 | |
|---|---|---|
| 完全正确 | 10/13 | 11/13 |
| 部分正确 | 0 | 2 |
| 答错 | 3 | 0 |
| 总耗时 | 160.5 秒 | 95.7 秒 |
| 空召回仍去作答 | 没有 | 没有 |
Qwen3.6 逐题:
| # | 问题要点 | 召回 | 内容 | 耗时 |
|---|---|---|---|---|
| 1 | 手册适用哪些人 | 1.1 | 通过 | 6.7 秒 |
| 2 | 工资何时到账,银行假日 | 1.9 | 通过 | 5.7 秒 |
| 3 | 结转 8 天后再满一年 | 1.13、1.14 | 通过,余额 23 天 | 12.3 秒 |
| 4 | 账号疑似泄露,最晚何时报告 | 1.27 | 通过,2 小时 | 5.5 秒 |
| 5 | 每周远程 3 天,且周二周四为协作日 | 1.6、1.7 | 通过 | 8.1 秒 |
| 6 | 2 万课程能否直接用学习预算 | 1.21 | 通过,超出要审批 | 6.6 秒 |
| 7 | 1800 礼品,客户要求优先考虑 | 1.23 | 通过,不能接受 | 7.8 秒 |
| 8 | 6 月评估后能否改绩效目标 | 只有 1.19 | 部分通过,缺 6 月、12 月 | 5.2 秒 |
| 9 | 未批准的第三方 AI 分析客户数据 | 1.26 | 通过 | 7.5 秒 |
| 10 | 周五下班笔记本丢失 | 1.27 | 通过,2 小时,不用等到下个工作日 | 6.7 秒 |
| 11 | 手册里的金额限制 | 1.21、1.23 | 通过 | 9.4 秒 |
| 12 | 离职:年假、未报销、笔记本 | 1.11、1.13、1.32、1.33 | 部分通过,缺结转上限 | 10.9 秒 |
| 13 | 年终奖怎么发 | 空 | 拒答,没有编规则 | 3.3 秒 |
智谱改完提示之后仍错的三道,Qwen3.6 的去向:
- 笔记本丢失。摘要写的是「设备丢失」。智谱返回空数组。Qwen3.6 勾上 1.27,写出两小时内上报。
- 绩效目标。智谱连两次都把编号指到「如何举报」(1.34)。那条摘要是举报和禁止打击报复。模型写的理由却说它在讲绩效。我们一度怀疑是提示里新加的一句话带偏的,删掉重测,它仍指 1.34。Qwen3.6 勾回了「业务变更可以调整目标」(1.19),仍少了正式评估那一条(1.18)。
- 离职。智谱只留下归还资产,还写了一句原文没有的「应结清年假」。Qwen3.6 把提前通知、报销期限、年假和归还资产都勾上了,没有再编那句。报销时限被说成了「必须」,原文没有这个词;结转上限 1.14 没勾上。所以是部分正确,不是答错。
这只说明在这 13 题、这一版提示上,Qwen3.6 更合适,也更快。不能外推成所有问题上它都更好。7B 没有再跑这 13 题:27.5 秒只是勾选,整套会更慢,而且它在「设备丢失」这种换说法上已经空过。
命中条目的题,大模型是 2 次。年假那道是 4 次,因为数量算完还有一次改写。年终奖空召回只有 1 次。运行错误是 0。
踩坑
Shell 里的旧变量会盖住项目。 机器上如果还留着另一套 OpenAI 兼容地址,不先读项目 .env,问答会打到别的网关。启动脚本现在先读 .env,项目里的 MYCS_LLM 为准。
推理模型默认会把 token 花在思考上。 Qwen3 一类接口如果不关 thinking,正文可能是空的,额度耗在思考上,JSON 也解不出来。接 qwen 时沿用已有的做法:兼容接口默认 enable_thinking: false。需要思考再单独打开。
过程面板是为了看见「有没有调用模型」。 理解问题跳过之后,这一步的标签是编排,不是大模型。勾选和撰写才标成大模型,并写上模型名。没有这个区分,会把 5.6 秒误当成「模型想了 5.6 秒」,其实里面还有读库和核对。
提示改了,不代表小模型会照做。 绩效那题把对的事实安到错的编号上,摘要全文就在同一次请求里。再加一句「看摘要」没有改变它的选择。能改的是换一个更听话的模型,或者在它交回编号之后,由程序丢掉摘要和问题对不上的那条。后一种还没做。
代码在 github.com/zealot2002/mycs 的 src/mycs/llm/factory.py。下一篇写这些问答是怎么进库的,以及核对怎样才不会把写反的结论放过去。



