Synthetic Data Generator内容样本生成

数据集用途与字段

先写清楚这批数据要测试什么，再决定生成多少条。分类任务关注输入与标签，问答任务关注问题、答案和依据，改写任务则需要原文、改写要求和结果。不要一开始就追求数量，先做一小批样本验证字段是否够用。

同时记录任务版本、生成时间、提示词版本和人工审核状态。资料包确认 Hugging Face Blog 收录过自然语言生成数据集的相关条目，但没有确认某个固定界面、接口参数或模型配置，因此实际入口和参数应以当前产品说明为准。

模板约束与规则

1. 为每个字段写出类型和是否必填，例如 label 只能从预设标签表中选择。
2. 为文本字段规定长度范围、语言、语气和禁止内容。
3. 为样本设计变化维度，例如主题、难度、表达方式、正负例和边界案例。
4. 规定未知信息的处理方式：资料不足时填写“待核实”，不要自行补充。
5. 规定输出格式，并准备一条人工可读的示例作为对照。

建议把固定规则、变量内容和检查条件分开保存。这样修改主题时，不会意外改变字段定义。若需要更稳定地约束结构化结果，可以参考结构化输出字段检查方法，但仍应在应用侧再次检查字段、类型和空值。

第一批样本生成

1. 先建立一个小批次，例如每个标签准备若干条，覆盖简单、中等和容易混淆的案例。
2. 提交字段说明、样本模板、约束规则和一条合格示例。
3. 收到结果后先保存原始输出，不要直接覆盖清洗后的数据。
4. 为每条记录补充 sample_id、batch_id、prompt_version 和 review_status。
5. 检查小批次通过后，再按主题或标签分批生成，避免一次失败影响全部结果。

示例任务可以是内容意图分类。输入字段为 question，标签集合为“产品信息、使用方法、售后问题、无法判断”。生成规则要求每条问题只对应一个主意图；如果问题缺少必要条件，就使用“无法判断”，并在 notes 中说明缺口。这样得到的样本更适合测试分类边界，而不是单纯堆积相似句子。

四轮检查与清理

格式检查

• 必填字段是否全部存在。
• 标签是否只来自允许集合。
• 编号是否唯一，字段类型是否一致。
• 换行、引号、空值和特殊字符是否会破坏 CSV、JSON 或表格导入。

重复检查

先做完全重复检查，再做近似重复检查。完全重复可以比较规范化后的文本哈希；近似重复则应把空格、标点和大小写统一后比较相似度。发现相似样本时，不要只删除一条，要判断它们是否代表不同难度或不同表达方式；如果没有测试价值，就保留更清晰的一条。

事实和敏感信息检查

• 对照已确认资料，标出资料中没有依据的数字、日期、功能和承诺。
• 检查姓名、电话、邮箱、地址、订单号和内部标识等可能暴露身份的信息。
• 涉及产品或政策的样本，保留 evidence 或 source_note，无法确认的内容标记为待核实。
• 高风险或边界样本进入人工复核，不因模型给出肯定语气就直接通过。

人工抽检表怎么填

抽检应同时覆盖常规样本、边界样本、长文本、短文本和模型曾经报错的样本。每条记录至少填写以下内容：

抽检发现同类问题集中出现时，应先修改模板或约束，再重新生成对应批次。只手工修改结果而不更新规则，后续批次仍可能重复出现相同问题。

常见故障和修正动作

• 输出字段缺失：通常是字段说明不清或输出格式约束过弱。把必填字段、允许类型和缺失处理方式写入模板，并在导入前执行字段校验。
• 样本内容高度相似：通常是变量范围太窄或示例过于单一。增加主题、语气、难度和反例维度，并让每批次使用不同组合。
• 标签超出集合：通常是标签名称存在同义写法。提供固定标签表，生成后统一映射；无法映射的记录进入人工复核。
• 答案出现未经确认的事实：通常是任务要求只强调流畅度，没有规定依据边界。增加 evidence 字段，要求缺资料时明确标注待核实。
• 导入文件报错：通常是逗号、换行、引号或编码处理不一致。先用目标系统导入一小批，检查转义规则，再批量导出。
• 生成中断或批次不完整：通常是请求超时、输入过长或并发过高。按较小批次重试，保留已完成记录，并用 batch_id 去重后再合并。

发布前验收和交付清单

1. 确认任务目标、样本范围、字段定义和标签集合已经冻结。
2. 确认原始输出、清洗结果、提示词版本和生成记录均可追溯。
3. 确认必填字段完整，数据类型、编码和导入格式正确。
4. 确认完全重复和近似重复样本已处理，并保留处理记录。
5. 确认事实检查、敏感信息检查和高风险样本人工复核已完成。
6. 确认抽检覆盖常规、边界、不同难度和不同表达方式。
7. 确认测试集与生成规则之间没有泄漏，例如答案或标签没有被直接写进输入。
8. 确认交付目录包含数据文件、字段说明、标签字典、检查报告、抽检表和版本记录。
9. 确认数据集状态为可交付，退回样本与原因已单独归档。

完成这些检查后，再将合成数据用于写作测试集、分类评测或提示词评测数据。合成内容可以补足数量和覆盖范围，但不能替代最终的事实核验与人工抽检。