上一篇说,Agent 该规划的是知识缺口,不是一串搜索词。
写代码的时候,这句话很快碰到一个更具体的事实:用户在界面上已经选好了知识库。这时再让模型判断「这是办件进度,还是政策问答」,多出来的那一次请求并不增加知识。
所以现在的主路径很短。
已选知识库 ↓ 把已上线问答的标题和摘要交给模型 ↓ 模型只返回编号 ↓ 按编号取出答案全文 ↓ 只根据这些全文写答复 ↓ 用规则核对,不让模型自己证明自己 下面这张图是同一次提问。左边是答复,右边是过程。第一步写着:知识库已选定,直接勾选问答,本步不调用大模型。第二次调用才出现,名字是 Qwen3.6,工作是看 FAQ 标题。整次耗时 5.6 秒。
问题是「工资一般什么时候发到账?如果碰到银行放假呢?」答复是:次月 5 个自然日内;碰到银行假日,提前到前一个工作日。这是库里那一条的原文,不是模型凭空补的。顶栏写着「星河科技员工手册(35 条)」。过程面板里,理解问题是编排,勾选才是大模型。
把这一步展开,能看见模型实际读到的东西和它交回来的东西。
输入是整份已上线标题。输出只有编号,这一次是 1.9。摘要写的是发薪和银行假日,和问题对得上。程序再按这个编号去取正文,后面才写答复。
这条路是从更长的链路里收出来的
第一篇里的知识世界有实体、关系、时间和证据。落地时我们先做成过一棵目录:章、节、叶子,计划阶段让模型点一个分支,再钻进去检索。星河手册的早期版本走的就是这条。
那一版上,同一类问题已经露出后来反复出现的三类错:
| 当时卡住的地方 | 实际发生过的事 |
|---|---|
| 计划 JSON 写坏 | 账号泄露那题,模型返回的计划不是合法 JSON,靠兜底计划才救回来 |
| 钻错章节 | 学习预算被钻进别的章,靠一次不限范围的重试才命中 |
| 漏掉同一章里的另一条 | 年假结转答成 7 天。当时的上限写在另一节,检索没把它带上,核对仍然通过 |
7 天这个数字后来没有沿用。手册改成现在这 35 条之后,条文本身也改过:满一年 15 天,结转上限 30 天。已有 8 天再满一年,是 23,不是 7,也不是把 30 直接当成余额。旧链路的教训留下来了:让模型决定「往哪一章钻」,它会钻偏,也会在钻对的时候漏掉旁边那一条。
扁平问答把「往哪钻」拿掉了。一份知识库就是一组并列的问和答。没有父子章节要先钻进去。界面上就是这张表。
| 知识库 | 已上线条数 |
|---|---|
| 流行音乐 | 30 |
| 三国演义 | 50 |
| 权游知识手册 | 50 |
| 潘多拉星球生态手册 | 50 |
| 宠物饲养指南 | 100 |
| 星河科技员工手册 | 35 |
叙事类的库,标题和问题几乎同形,勾选不难。星河是制度,问题经常换说法,一条问题里还叠着两三件事。后面两篇的测试,难的都在这本手册上。
模型只交编号
勾选时,模型看到的不是答案全文,而是每条的三样东西:
section_ref 编号,例如 1.9 title 问题 summary 答案开头 条数不超过 120 时,整份列表一次送进去。现在这六本都在这个限度里,所以都是一批。模型只许返回:
{"section_refs":["1.9"],"reason":""} 编号必须来自这次给它的列表。一条都对不上,就返回空数组。程序再丢掉不在列表里的编号。
空数组的含义是拒答,不是换个近题凑一条。年终奖怎么发,库里没有,就告诉用户没找到,不编一套发放规则。三国库里问铁王座、权游库里问罗贯中,走的也是这条:空召回,然后停。
勾中的编号才去数据库取答案全文,交给写答复的那一次调用。所以一次命中的问题,大模型通常只有两下:勾选,然后作答。年假这种要算数量的题会多一次改写,第四篇写它。一条都没勾上时,只有勾选那一次,后面的作答不再发生。
过程面板再往下是后半段:按编号读正文、规则核对、撰写回答。核对这一步标明不调用大模型。
同一套页面可以换库。下面这张图里,先问了发薪,再把顶栏换成三国演义,问关羽和刘备的关系、吕布的坐骑。后一问 8.9 秒,答复按库里的原句写了桃园之义和赤兔马。过程仍是「理解跳过,然后勾选」。
勾选上的几条硬规则
这些规则是程序的,不是模型临时发挥的。
| 规则 | 为什么这样定 |
|---|---|
| 120 条以内一次送完 | 分批会让模型在第一批就停。现在最大的一本是 100 条,还用不上分批 |
| 必须分批时,每一批都送 | 模型不能返回 done。停不停不是它的决定,程序把各批编号并起来 |
| 普通问题最后最多留 5 条 | 模型有时会勾一串沾边的标题。超出之后,用本地的词面重合把多出来的丢掉 |
| 枚举「有哪些、全部」最多留 24 条 | 金额限制这种题要的是一组,不是一条 |
| 多件事的题,不再附上「通常 1~3 条」 | 离职里同时有年假、报销、电脑。加上这句,模型只留下最显眼的归还资产 |
| 本地词面分只在超出上限时才用 | 它分不清「设备丢失」和「笔记本」。拿它当主检索,换一种说法就空 |
我们讨论过用向量相似度代替这次勾选。发布时把标题和摘要嵌进去,提问时做点积,50 到 100 条通常不到一秒,能躲开 7B 读完整份列表的那几十秒。它适合当短名单:先留大约 8 条,再让现在这次勾选在短名单里挑。若只用相似度当裁判,标题像的错条会留下。项目文档里的约定仍是提问时不做向量检索。短名单没有接进主路径。
踩坑
提示词还在说字典和父子。 早期召回沿着目录往下钻,提示词里有章、父节点、叶子。产品改成扁平问答之后,这些词还留在提示里,模型会去找一个不存在的层级。后来把勾选提示改成:你看到的就是并列条目,只勾摘要能直接回答的那些。
模型想自己决定「后面不用看了」。 列表太长、必须分批时,如果让模型返回 done,它可能在第一批就停,后面的正确条目再也看不到。程序的做法是:每一批都送,只收集编号,最后再并起来。
曾想把「理解问题」并进勾选,省一次请求。 省是省了,但勾选必须看见整份标题。把意图分类塞进同一次,提示更长,编号也更容易漂。知识库已经由人选定,理解这一步直接跳过就够了。没有选定知识库的办件、办事指南,仍走原来的理解。
标题像,不代表这条能回答。 提示写明:标题用词接近,但摘要里没有那件事,不要勾。同一件事的不同说法要勾,摘要用了上位词、下位词或同义说法,也算同一件事。笔记本和「设备丢失」就靠这句。这句写上之后,小模型仍会失手,那是它没有照着摘要里的那句话勾,放到第三篇的对照里。
测试题自己写错,会变成一条假缺陷。 「诸葛亮出征骑的什么马」在三国库里对不上。原题是坐骑,答案是四轮车,也叫素舆,不是马。模型勾到吕布的赤兔之后,正文写了未检索到,没有把赤兔安到诸葛亮头上。这题后来不计入。吕布的坐骑才是赤兔,上面那张切换知识库的图问的是这一条。
这一篇留下来的接口
写答复的模型只看见勾中的问答原文。数字、时限、对象、步骤都要从这些原文里来。没被勾中的事,不能靠模型的常识补上。
核对也不把「模型觉得自己对」当成通过。通过与否是程序拿答复和取回来的正文做的。它放过过什么、又拦住过什么,第四篇写。
代码在 github.com/zealot2002/mycs:
| 做什么 | 哪里 |
|---|---|
| 选定知识库就跳过理解 | src/mycs/agent/loop.py |
| 整表勾选、分批也走完 | src/mycs/planning/flat_faq.py |
| 勾选提示 | config/prompts.txt 的 faq_title |
| 超出条数才用的词面分 | src/mycs/knowledge/search.py 的 score_entity |
| 问答页和过程面板 | frontend/src/views/ChatView.vue |
下一篇看时间花在哪。同一条链路,换模型之后,慢的往往不是生成那几十个字。




