fastText 语料语言识别：错标筛查与人工复核怎么做

原始记录与审核字段

本题要解决的是资料库语言标签缺失或错标，不是栏目分类或跨语言检索。第一版交付应是一份可追溯的待审表，而不是自动改写全库标签的程序。把来源原标签、模型候选和编辑结论放在不同字段中，即使后续更换模型，也能回查当时为什么改判。

以下字段是本文设计的审核原型，不是 fastText 或 Huggy Lingo 的官方数据格式。缺失值应明确保存为空值或空数组，不要用中文默认标签补齐。

文档级网页标签与段落级预测不是同一粒度。前者可以作为核对线索，但不能在比较结果不同后直接宣布原标签错误。审核状态建议区分待审、已确认、无法判断和不适用，避免把空白误读为已通过。

接入准备与标签映射

所给 Hugging Face Blog 索引收录了 2023 年 6 月 6 日的 Welcome fastText to the Hugging Face Hub，以及 2023 年 8 月 2 日的 Huggy Lingo: Using Machine Learning to Improve Language Metadata on the Hugging Face Hub。它们是研究入口；资料包没有提供两篇正文和模型卡，不能据此确认目前可用的模型清单、授权、语言覆盖、加载方法或中文准确率。

1. 建立候选模型登记表，分别填写模型仓库、固定版本、权重文件、任务类型和对应说明出处。尚未核对的项目标为待确认，不根据文章标题猜测模型名称。
2. 分别核对运行库与权重的许可证，记录是否允许团队计划中的使用、分发及修改方式。授权无法确认时，不进入生产接入。
3. 核对完整语言标签清单及其定义，尤其是语言、文字体系、地区变体是否被区分。不要预设所有输出都采用同一种代码体系。
4. 建立有版本的标签映射表，至少包含原标签、模型标签、站内规范标签和对应关系。无法明确对应的项进入映射待审，不强行合并。
5. 依据选定版本的说明核对安装依赖、加载入口、输入格式、空文本处理和候选分数含义。先用非敏感的小样本检查返回结构，再处理业务资料。
6. 冻结一份只读资料快照，按原有段落边界制作文本单元，保留引用及代码的类型标记。需要进一步拆分时，保留父单元标识和原文位置。

当前能够先完成字段建表、样本准备和审核规则设计；模型推理接入必须等待上述信息补齐。下面的流程示例不代表这些核验已经完成。

短句与混合样本对照

先由编辑只看原文标注参考语言，再显示模型结果，减少预测对人工判断的影响。下表内容为原创检查样本，参考说明不是模型预测，也不是准确率记录。

长度实验应从同一份自然段落制作短片段、完整句和完整段落，并记录每个版本的实际字符数及取样位置。不要用重复粘贴同一句话代替长文本。混合实验则固定两句原文，比较单独输入、合并输入和交换顺序后的输入；这些条件用于观察变化，不预设哪种结果一定更好。

单元识别与审核候选

以下为 Python 风格伪代码。load_verified_adapter、predict_candidates、map_labels 与 queue_reasons 均是应用侧自定义职责，不是已确认的官方函数。适配层应在核对当前模型说明后实现；这里不虚构包名、下载地址、权重文件名或官方加载参数。

adapter = load_verified_adapter(approved_model_record)

for unit in frozen_units:
    result = new_review_record(unit.unit_id, run_id)
    result.review_status = 'pending'
    result.reviewed_languages = []

    if unit.unit_type != 'prose' or not unit.text_input.strip():
        result.inference_status = 'skipped'
        result.review_reasons = ['non_prose_or_empty']
        append_review_record(result)
        continue

    try:
        candidates = adapter.predict_candidates(unit.text_input)
        validate_adapter_output(candidates)
        result.predictions_raw = candidates
        result.predictions_mapped = map_labels(
            candidates, approved_mapping
        )
        result.inference_status = 'completed'
        result.review_reasons = queue_reasons(
            unit, result, review_policy
        )
    except AdapterError as error:
        result.inference_status = 'failed'
        result.review_reasons = ['inference_failed']
        result.error_code = error.safe_code

    append_review_record(result)

约定适配层每次处理一个单元，返回候选列表，每项包含模型原始标签和有限数值分数；排序与分数方向须依据模型说明确认，不能默认为越大越好。空结果、未知标签和非法分数必须显式报错或转入待审，不能伪装成识别成功。失败记录不填零分，因为零分容易与正常输出混淆。

1. 先记录输入快照与运行版本，再执行识别。不要把整份网页导航、正文和代码直接拼成一个单元。
2. 将原始候选与映射候选分别保存。映射未通过时，停止自动标签比较，并登记映射问题。
3. 在粒度一致、映射明确的条件下比较原标签与首选候选。原标签缺失或双方不一致时，都进入审核队列。
4. 根据预先登记的规则追加低分、短文本或疑似混合提示。首版可让所有结果保持待审，分数只用于安排检查顺序。
5. 编辑回看原文，填写独立审核字段；对混合段落保留多语言结论或进一步拆分，不能靠首选标签抹去另一种语言。

若同一条记录有多人判断不一致，可沿用多人独立评分与仲裁结果保留方法，分别保留判断，再登记仲裁结论，不直接覆盖第一位编辑的记录。

分数对照与筛查规则

置信分数不直接等于预测正确的概率。即使某个候选分数很高，也不能由此确认一段文字只有一种语言；多个候选标签也不等于文本确实包含多种语言。段落间预测不同只能作为疑似混合线索，还需要回看原文。

1. 固定模型、映射、预处理和样本版本，运行前述长度与混合对照。记录每条输入的实际长度、候选标签、分数和人工参考。
2. 只有在确认支持多候选且分数可作相应比较时，才记录前两名及分差；否则将该项标为不适用，不自行补造第二候选。
3. 在人工标注的校准样本上选择若干候选分界线，统计各规则送审数量，以及已知错标中有多少被送审。分界线仅是团队实验参数，不是官方标准。
4. 分别查看短文本、完整段落、混合文本的漏检和额外送审情况，不用一个总体数字掩盖某组失败。
5. 另留按文档来源划分的独立验收样本。规则确定后再评估，避免用同一批样本反复调参后宣称泛化有效。

已知错误送审比例可按“被规则送审的已知错误数 ÷ 已知错误总数”计算；分母为零时不计算。还应抽查未触发规则的记录，否则无法发现高分但错误的漏检。本资料包没有推理记录，本文不填写任何预测分数或效果数值。

常见故障与修正

发布前验收与追溯

• 模型仓库、固定权重版本、许可证、语言清单和当前加载方法已有可复查依据；缺一项就不把接入原型交付为生产方案。
• 抽查原文、原标签和文档版本未被修改，每个识别单元都能定位到来源位置。
• 标签映射有版本，未识别标签和粒度不一致项没有被当作确定冲突。
• 短文本、完整段落、外语引用、混合文本、代码与空输入均有检查记录，未运行项目明确注明。
• 分数阈值附带校准范围与独立验收结果，未把分数写成正确概率，也未把多候选写成多语言事实。
• 缺失、冲突、低分和运行失败项各有处理状态；无法判断项保持待处理，不默认通过。
• 人工改判记录包含审核语言、理由、审核人和时间；多人分歧保留原始意见。
• 下游仅按明确策略读取已确认的审核字段；未确认项继续保留原标签及待审提示，不自动进入翻译分流。
• 导出后核对记录数、唯一标识和关联版本，重新运行预测不会抹去历史审核。

最终交付应包括原始资料快照、单元表、候选预测表、人工审核表和分数对照记录。目前缺少的两篇正文与模型说明仍是模型接入的前置条件；在这些证据补齐前，可以完成审核结构和样本设计，但不能得出可用模型、授权或中文识别效果的确定结论。