领域嵌入模型微调：样本怎么准备与检索验收

检索任务与业务术语

准备领域嵌入模型微调，第一步不是挑训练参数，而是明确：谁在搜、用什么说法搜、应该找到哪一段资料。建议首次只选择一个业务范围，例如产品售后流程，不把所有部门资料一起纳入首轮实验。

资料包中的 Hugging Face Blog 索引收录了领域专用嵌入模型构建，以及使用 Sentence Transformers 训练和微调嵌入模型的文章条目。这只能确认相关主题存在，不能据此确认具体训练配方。以下表格、示例和检查规则是本文建议的工作模板，不是对来源正文的复述，也不是已完成的实验记录。

1. 写出检索任务：输入员工提问，返回可以回答问题的文档片段及其出处。
2. 建立术语表：记录内部简称、正式名称、常见口语和容易混淆的概念，由业务负责人确认含义。
3. 收集当前失败查询：分别记录漏掉正确资料、找到相似但不适用资料、命中过期版本等情况。
4. 先检查正确资料是否已入库、文字是否完整、权限是否允许返回。资料缺失或解析错误应先修复，不直接归因于模型。
5. 约定验收单位：本轮按片段还是整篇文档计分，返回前多少条，以及哪些错误必须阻止上线。

样本字段与相关性标注

建议拆成文档片段表和相关性标注表。前者保存原文，后者表示某个问题与某个片段的关系。一条查询可以对应多个相关片段，不必强行只选一个答案。

上表不是训练库要求的输入格式。整理完成后，还需按核对过的训练接口映射字段。访问权限、审核人和原文位置用于治理与评测，不应未经确认就拼进模型训练文本。

以下为虚构的字段填写示例，业务规则仅用于说明标注方式。假设片段 D101-C01 写明“换新须先完成故障确认，外观损伤另行审核”；D102-C01 只说明“无故障退货的申请方式”。

建议从现有检索结果中挑选容易混淆的候选，再请业务人员确认是否确实不相关。不能因为某片段没有被点击，就直接把它标成负样本；无法确认的关系先留在待确认队列。

数据划分与训练准备

1. 清理空文本、重复片段、个人信息和未经授权的内容，保留必要的业务语义。
2. 把同一问题的改写、近重复资料和关联文档族合并为分组；存在交叉关联时，先合并关联组再划分。
3. 将分组分配到训练、验证、测试用途。训练集用于学习，验证集用于选择方案，测试集留作最终评估；不在本文规定统一比例。
4. 检查各组是否覆盖目标术语、普通问法和容易混淆的业务条件，避免测试集只剩简单问题。
5. 冻结测试查询、相关性标注和检索语料快照，登记版本。测试问题及其改写不进入训练或调参过程。
6. 用当前模型运行基线，保存逐条返回的片段标识、顺序、原始得分及耗时。

测试查询所需的正确文档必须存在于评测检索库，否则无法评估能否找回。文档参与建立检索索引，与查询及其相关性关系参与训练是两回事；本轮采用何种文档隔离方式，应在实验记录中写清。

准备使用 Sentence Transformers 微调时，不能把博客索引当成可运行说明。当前资料未包含文章正文、依赖版本、模型加载方式、训练目标或硬件要求，因此这里不提供未经核对的类名、损失函数配方和启动命令。

1. 补充阅读索引中的嵌入训练文章，并核对所选模型的当前说明，登记模型标识、固定版本、许可和语言适用范围。
2. 核对训练输入要求：支持哪些样本关系、是否需要显式负样本、字段如何排列、训练目标如何与输入对应。未确认前不提交正式任务。
3. 登记完整配置：依赖版本、文本处理方式、长度限制、批次设置、学习率、训练轮数、随机种子、验证规则和产物目录。具体数值以补充核对后的方案为准。
4. 先用少量已复核的训练样本检查字段映射、文本截断、验证流程以及模型保存和重新加载。此轮只检查流程是否完整，不作为效果结论。
5. 流程检查通过后运行正式训练，只使用验证集选择候选版本；保存日志、配置、数据版本与模型产物的关联记录。
6. 为候选模型建立独立检索索引，用同一候选版本编码查询和文档。不要将新查询向量直接与旧模型生成的文档向量混用。

任一核对条件缺失时，把状态记为“训练条件待补齐”，继续完成样本复核和基线整理，而不是填写“训练完成”。训练结束也不代表满足企业知识库检索的上线要求。

固定查询与召回对比

建议先比较模型替换本身：两组使用同一语料快照、切分规则、返回条数和权限条件，分别按各自已确认的编码规范生成表示；暂不同时更换重排或混合检索策略。需要扩展检索方案对比时，可参考稀疏嵌入检索的索引与召回评测方法，另开实验记录。

下面是固定查询测试表的示例结构，查询和标识均为虚构。结果栏必须由实际运行后填写，不能把预期结果写成模型输出。

1. 先固定 K，例如首轮约定比较前 5 条。该数值只是工作示例，不是来源确认的最佳设置。
2. 对有相关答案的查询，按唯一片段计算 Recall@K：前 K 条中的相关片段数除以已标注相关片段总数，再对查询求平均。相关集合不完整时，注明只是相对当前标注的召回率。
3. 再记录首次相关结果的排名；可用 MRR@K 汇总：首次相关排名的倒数，前 K 条无相关结果则记 0，最后求平均。
4. 对无答案查询单独汇总，不纳入分母为零的召回率计算。是否拒答或转人工，要另查系统规则，不能由嵌入分数直接断定。
5. 按简称、口语、普通表达和限制条件分组比较，并列出改善、持平和退化查询。人工对照原文复核全部关键退化项。

计算示例：假设某查询共有 2 个已标注相关片段，基线前 5 条找回 1 个、候选找回 2 个，则该查询的 Recall@5 分别为 0.5 和 1。若首次相关排名由第 4 名变为第 2 名，对应倒数排名为 0.25 和 0.5。这只是公式演算，不代表本文已有模型结果。不要仅凭两个模型的原始相似度分数高低判断效果。

结果异常与排查方法

上线条件与验收清单

建议在查看最终测试结果前，由业务和开发共同确定目标指标、关键查询允许退化范围、延迟预算与阻断条件。没有团队确认的门槛，就只记录对比结果，不宣布通过。

• 数据检查：资料授权、脱敏、原文位置、版本及标注复核状态均可追溯。
• 隔离检查：训练、验证和测试用途明确，关联样本无意外跨组，测试未参与方案选择。
• 产物检查：模型、依赖、配置、数据快照和索引版本能一一对应，保存后可重新加载。
• 效果检查：固定查询表已经填写，整体和各业务分组指标满足预先约定的门槛，关键退化项已处理。
• 安全检查：按不同身份验证访问范围，过期资料处理及无答案查询的人工复核规则有效。
• 运行检查：在目标环境记录耗时、失败情况和资源占用，满足团队预算，不用离线质量指标代替服务验收。
• 切换检查：模型与对应索引成套上线，旧模型和旧索引保留；明确异常触发条件、回退负责人和操作记录位置。
• 审批检查：业务负责人确认相关性，开发负责人确认部署与回退，记录批准范围和待观察问题。

当前可先交付样本表、分组清单和基线查询记录；补齐所选模型与训练接口的正文资料后，再执行训练及固定查询对比。没有运行记录时，结论应停留在“准备完成”或“待评估”，不写效果提升比例或上线通过。