Granite 多语言嵌入：跨语言检索评估

资料范围与验收目标

开始前先圈定一个写作主题和少量可合法访问的资料，不要把不同产品线、地区和版本的文件直接混成一个集合。检索评估要回答的是：固定查询能否找到适用的原文段落，语言、版本和权限是否符合要求，而不是只看相似度分数。

• 建立文档清单：记录文档 ID、标题、来源、语言、产品或主题、版本、生效状态、更新时间、访问权限和原文位置。
• 确认语言标注依据：以资料正文语言为主；混合语言文档可标记主要语言并备注术语或章节语言。
• 准备查询样本表：每条记录包含查询 ID、查询语言、查询文本、目标事实、预期文档 ID、预期版本、可接受答案语言和人工判定理由。
• 规定何为相关：同一事实但版本过期、地区不适用或权限不允许的文档，不能算合格命中。

若资料库还缺少统一的语言和版本字段，可先参考多语言文档检索与引用核验流程中的资料整理思路，再把本次评估聚焦在嵌入检索对照上。

整理一组可复查的跨语言查询

从编辑实际会问的问题出发，覆盖同语言检索、跨语言检索、内部简称、产品别名和易混淆版本。每个查询都要提前指定相关文档或相关段落，评估时不能看完结果再临时改变标准。

1. 选择少量代表性文档，保留原始文件，并为文档和段落分配稳定 ID。
2. 从原文中选取可核验的事实，例如功能边界、兼容条件或流程要求；不要把整份文档的标题当作唯一相关性依据。
3. 为同一事实编写不同语言的查询，以及包含内部术语或常见简称的查询。由熟悉业务的人确认这些表达确实指向同一事实。
4. 将样本分成开发集和留出集。开发集用于检查字段、分块和查询表达；留出集用于最后一次比较，避免反复调到只适配熟悉样本。
5. 标记文档权限和版本适用条件，并在评估记录中保留人工判断依据。

建立匹配的嵌入索引并固定对照条件

资料包中的公开索引提到 Granite Embedding Multilingual R2，并在标题中说明其多语言嵌入方向。该索引没有提供可直接照抄的调用代码或模型卡细节，因此在下载、部署、选择编码方式和设置索引参数之前，应查看对应模型的当前说明。不要仅凭博客标题推定语言覆盖、上下文限制或生产兼容性。

1. 记录实际使用的模型仓库标识、修订版本、运行库版本、编码设置和向量索引配置；无法确认的字段标为待核实。
2. 按文档稳定 ID 和段落 ID 保存文本、向量及元数据。索引过滤字段至少应能区分语言、产品、版本状态和权限。
3. 先为基线方案建索引，再用同一批文档、分块规则、查询和权限过滤建立候选方案。若比较其他检索方式，明确每个方案改变了什么。
4. 固定每次返回的候选数量、过滤条件和排序处理。不要在某个方案中启用版本筛选、另一个方案却不启用。
5. 运行留出查询，逐条保存排序结果、分数、文档语言和版本字段。分数只用于记录排序信号，不直接当成正确性结论。

跨语言检索记录

下面是用于设计评估表的虚构业务示例，不代表 Granite 模型的实际输出或测试结果。假设资料库中有一份中文产品说明和一份英文版本，且两者的适用版本状态可能不同。

比较结果时分别判断：是否召回正确事实、语言是否适合编辑阅读、版本是否适用、引用位置能否回到原文。即使跨语言查询找到了语义相近段落，也要检查是否把计划、历史状态或另一地区规则误当成当前事实。

引用核验与发布验收

检索系统负责提供候选资料，不能代替编辑确认事实。把排名靠前的结果整理成引用位置核验表，每条拟写结论对应一处原文证据；若来源存在冲突，先标记待确认，不要合并成一个确定说法。

• 结论 ID：对应文章中的句子或段落。
• 文档 ID 与版本：记录来源文件、语言和适用状态。
• 位置：保存段落 ID、页码或系统可复查的定位信息。
• 原文摘录：仅保留核验所需的短片段，并遵守资料访问和使用规则。
• 编辑判断：记录该证据支持什么、不支持什么，以及是否需要人工确认。

写作导入时只传递已核实的事实、对应来源标识和适用边界。检索排名、相似度或模型名称本身不能作为文章中的事实证据；引文措辞应以原文为准。

• 文档清单中每份资料均有稳定 ID、语言、版本状态、权限和原文定位。
• 查询样本覆盖同语言、跨语言、内部术语和易混淆版本，并有预先确认的相关文档或段落。
• 基线与候选方案使用相同查询、文档范围、权限条件和候选数量，差异项有记录。
• 召回结果已按事实相关性、语言、产品适用范围和版本状态分别复核，未把分数当成正确性证明。
• 每条拟引用结论都能回到原文位置，原文版本和适用边界清楚；冲突或无法核验项已标记。
• 写作导入清单只包含人工核验通过的事实与来源标识，未将模型生成的解释或未验证结果冒充原文。
• 模型名称、修订版本、运行环境和索引配置已记录；资料包未确认的接口细节未被写成已验证事实。

常见故障与修正动作

• 结果总是命中错误语言版本。常见原因是语言字段缺失或查询没有应用语言偏好。修正：检查元数据是否随索引保存，分别记录不加偏好与加语言过滤的结果，并确认过滤不会排除确实需要的跨语言资料。
• 旧版本排在当前资料之前。原因可能是索引包含历史文档，却没有按生效状态筛选。修正：保留历史版本用于审计，但在查询时应用明确的版本条件；再检查同一查询在过滤前后的命中变化。
• 内部简称搜不到，或命中相似产品。原因可能是简称未进入文本、别名字段未参与检索，或相关性标准没有覆盖易混淆产品。修正：补充经业务确认的别名映射，将相近产品加入难例，并复核原文是否真的支持查询意图。
• 检索命中正确，但无法给正文做引用。原因通常是向量记录没有保存原文位置或文档版本。修正：把段落 ID、页码等定位字段与向量记录关联，再从检索结果回到源文件核对；无法定位的结果暂不作为引用依据。
• 对照结果差异很大，无法判断原因。原因可能是模型、分块、索引过滤和候选数量同时改变。修正：一次只调整一个变量，固定其余条件，保留配置和失败样本；具体模型编码调用须按当前模型说明核对。