搭建 RAG 知识库时,最容易先想到的是把文档切分、向量化,再放进向量数据库。但真正使用后会发现:向量检索并不总能准确命中包含专有名词、编号、政策文号或精确字段的内容。
这也是我开始关注 Hybrid Search 的原因。与其期待某一种召回方式解决所有问题,不如让关键词检索和向量检索发挥各自优势,再通过融合和重排序提升候选结果质量。
检索链路不是只有一个向量库
一条可评测的检索链路,至少包括以下环节:
- 文档解析:保留标题、章节、表格、来源、时间和文号等有用元数据。
- 分段策略:根据文档结构和问题类型切分内容,避免切断关键语义。
- 多路召回:关键词检索适合精确词项,向量检索适合语义相近表达。
- 结果融合:把不同召回通道的候选结果合并,避免单一通道主导结果。
- 重排序:使用 Reranker 对候选段落重新打分,提升靠前结果的相关性。
- 答案生成:基于检索证据组织回答,并保留来源引用。
为什么要做离线评测?
只看几条人工提问的回答,很容易被偶然命中误导。更好的方式是准备一组带有标准答案或相关文档标注的问题集,分别运行不同检索方案,比较它们的表现。
- Hit@K:正确文档是否出现在前 K 个候选中。
- Recall@K:前 K 个结果覆盖了多少相关文档。
- MRR:第一个相关结果出现得是否足够靠前。
- nDCG:综合考虑排序位置与相关性等级。
这些指标关注的角度不同,不能只凭一个数字判断系统好坏。对于需要精确引用的问答场景,正确来源能否进入候选集、最终是否排在前面,以及答案是否真的使用了它们,都值得单独验证。
Rerank 阈值不是越高越好
重排序模型给出的分数需要结合具体模型和数据集校准。阈值设置过高,可能把本来有用但表达方式不同的段落过滤掉;阈值太低,又可能让噪声进入上下文。
因此我更倾向于先观察分数分布、人工检查边界样本,再根据不同问题类型设置策略,而不是直接照搬一个固定阈值。
检索效果与答案质量需要分开看
如果正确文档没有被召回,模型再强也很难给出可靠答案;如果检索结果正确,但提示词没有要求引用来源,最终回答也可能丢失证据。因此评测应该分层:先评估召回和排序,再评估答案正确性、引用完整性与拒答行为。
RAG 的优化不是单纯追求更聪明的模型,而是让每一步都能被观察、被评估、被改进。
这也是我希望持续记录的方向:从一次能回答问题的 Demo,逐步走向一条能够解释效果、定位问题并持续优化的检索工程链路。