Nemotron 多模态安全分类：图文审核流程

先定义审核边界

资料包确认 Hugging Face Blog 收录了 NVIDIA Nemotron 3.5 Content Safety 相关条目，并将其描述为可定制的多模态安全方向。资料没有确认当前可用接口、模型 ID、阈值或具体风险标签，因此下面把它作为分类环节来设计流程，不把通用字段写成官方参数。

先把素材分成三类：纯文字、纯图片、图文组合。审核结果建议只承担分流作用，最终发布决定仍由团队规则和人工复核负责。

准备样本与标注表

不要直接拿整批生产素材首次上线。先选一组小样本，覆盖正常内容、边界内容、明确高风险内容、图片和文字含义不一致的内容，以及模型无法判断的内容。

1. 为每个样本生成唯一编号，保留原始文件、文字输入、来源批次和提交时间。
2. 去除不必要的个人信息；确需保留的字段要限定访问范围。
3. 为每个样本预先填写人工基准标签，标注依据只写可观察事实，不写猜测。
4. 把样本分为开发测试集、复核集和上线回归集，避免用同一批样本反复调规则。

可直接使用下面的标注字段：样本编号、输入类型、人工基准类别、模型类别、置信或不确定说明、人工结论、复核人、复核时间、处理动作、归档位置。若工具没有置信度字段，就填写“未提供”，不要自行编造分数。

执行分类并分流

1. 先确认本批任务的内容类型和允许的风险类别，类别名称要与人工标注表一致。
2. 将文字、图片或二者组合按工具支持的输入方式提交；不要在未确认接口能力时擅自拼接参数。
3. 保存原始返回、归一化后的内部字段和素材编号，三者必须可以互相定位。
4. 把结果分为低风险、需要复核、高风险和无法判断四个内部队列。它们是团队流程状态，不等同于资料包确认的官方标签。
5. 高风险和无法判断的样本先阻断发布；低风险样本也要抽样复核，防止系统性漏判。

一个图文样本示例

假设运营提交一张活动海报和一段推广文案。图片本身看起来正常，但文案含有可能改变图片含义的暗示。正确做法不是只检查图片，而是把两种输入作为一个组合样本记录。

这个示例的重点是保留判断过程，而不是追求一次分类就得到最终结论。

误判复核与样本归档

出现误报时，先确认人工规则是否一致，再检查输入是否完整、图片文字是否清晰、文本是否被截断，以及分类结果是否被应用层错误解析。出现漏报时，应优先阻断相似样本，重新检查同批输入，再决定是否扩大回归测试。

• 单个样本异常：保留原始输入和返回，重新由第二名审核员独立判断。
• 同一类别连续异常：暂停自动放行，抽取同类样本做批量复核。
• 图文结果冲突：分别记录图片判断、文字判断和组合判断，不用一个标签覆盖三种结论。
• 人工意见不一致：记录争议点、采用的规则版本和最终裁决人。

归档时至少保存素材编号、输入摘要、原始文件位置、分类版本、人工结论、处理动作和复核时间。高风险原样本应限制访问，展示给培训人员时使用脱敏或替代样本。

常见故障怎么排查

上线前验收清单

• 纯文字、纯图片和图文组合三类输入都完成测试。
• 正常、边界、高风险和无法判断样本都有人工基准。
• 高风险与不确定结果默认不会自动发布。
• 原始输入、原始返回、内部标签和人工结论可以互相追溯。
• 图片文字不一致时，流程会触发组合复核。
• 解析失败、超时或输入缺失时有明确的阻断动作。
• 复核员知道类别定义、升级条件和归档位置。
• 上线前用固定回归集检查规则变更后的结果差异。
• 涉及敏感素材的访问权限、保存期限和脱敏方式已确认。

验收通过后再逐步扩大批量范围，并持续把误判和漏报样本加入回归集。这样，分类工具只是审核链路中的一环，团队仍能保留对风险边界和最终发布决定的控制。