Diffusers LoRA 微调：训练素材与验收清单

视觉目标

先写一句可以被检查的目标，例如“让模型更稳定地生成同一角色的发型、服装轮廓和低饱和插画质感”。目标不要同时塞入主体、所有场景和所有画幅，否则训练后很难判断是哪项特征发生变化。

• 不可变特征：主体外形、主色、材质、角色识别点或品牌视觉语言。
• 可变特征：姿态、镜头、背景、光线、动作和画幅。
• 拒绝特征：水印、无关文字、重复主体、严重裁切和明显压缩瑕疵。

可以先参考文生图训练消融实验的固定样本方法，把每次实验只改变一项变量的原则带入本次数据准备。

素材清单

把原始图片复制到独立工作目录，保留原文件，不在原目录直接覆盖。每张候选图逐项检查以下内容：

1. 确认图片确实属于目标品牌、产品或角色，并记录来源和授权状态。
2. 删除重复图、连拍中几乎相同的图，以及主体被遮挡或只剩局部的图。
3. 剔除带有未授权人物、第三方标识、隐私信息或不应进入训练集的内容。
4. 统一文件命名，建议使用项目名、样本编号和版本号，例如 brand_001_v1。
5. 记录原始尺寸、裁切方式、主体占比、背景类型和质量备注。
6. 让训练图覆盖不同角度、距离、姿态和环境，但不要为了凑数量加入明显偏离目标的图片。

图文配对

图像文件与描述必须一一对应。建议用表格保存以下字段，字段名可以按团队工具调整：

描述应像一张可复核的画面记录，而不是宣传文案。比如一张蓝色几何角色图可以写成“蓝色几何角色，短宽身体，正面站立，柔和侧光，浅灰背景，居中构图”，不要加入图片里没有的材质、动作或情绪。

测试与运行记录

1. 先按主体、视角、场景和动作给样本分组，避免同一组连拍图同时出现在训练集和测试集。
2. 将大部分合格样本放入训练集，保留一组不参与训练的固定测试图或测试条件。
3. 测试集应覆盖正面、侧面、近景、远景、简单背景和复杂背景等目标使用情况。
4. 为每个测试样本固定提示词、随机种子、尺寸、步数、采样配置和 LoRA 权重记录。
5. 保存底模未加载适配器时的基线图，之后再用相同条件生成微调结果。

品牌角色数据表示例

固定测试提示词可以写成“同一品牌角色，站在简洁工作台旁，三分之二侧面，柔和自然光，干净背景”。测试时只替换底模是否加载 LoRA，其他条件保持一致。这个示例不代表某个模型的最佳参数，只用于建立可比较的样本。

1. 确认底模、Diffusers 版本、训练脚本版本和数据集版本，并写入实验记录。
2. 先用小规模数据完成一次试跑，确认图片路径、描述读取和输出目录都正常。
3. 训练过程中保存配置、日志、检查点和失败信息，不要只保留最终权重。
4. 训练结束后，用固定测试提示词生成基线图、微调图和不同权重下的对照图。
5. 为每张输出图记录生成时间、参数、文件名、采用状态和人工评价。

排错与修正

• 训练启动后找不到图片：原因通常是路径、扩展名或大小写不一致。逐条检查 file_path，用少量样本先验证读取结果。
• 生成结果像原图复制：可能是样本过于重复、描述缺少变化项，或训练设置导致过度记忆。删除重复图，补充不同视角，并用未见过的测试提示词复测。
• 主体特征不稳定：原因可能是训练图中外观、颜色或构图差异过大。重新标出不可变特征，剔除冲突样本，再比较微调前后结果。
• 风格学到了但主体变形：训练集中主体占比、角度或描述不统一。增加主体清晰样本，减少背景干扰，并单独测试主体保留能力。
• 输出出现文字、水印或无关标识：检查训练图是否含有这些内容，并将其作为剔除条件；不要把未确认的限制写成模型必然能解决的能力。
• 显存不足或训练中断：具体处理取决于底模、脚本和硬件。先保留报错日志，再依据当前官方文档调整批量、分辨率或其他资源配置。

发布前验收

1. 所有训练图片来源、授权状态和项目归属已经记录。
2. 重复图、模糊图、严重裁切图和不相关图已剔除。
3. 每张训练图都有唯一编号、有效路径和对应描述。
4. 描述只包含可从图中确认的内容，固定特征与可变特征已分开。
5. 训练集与固定测试集没有重复或近似泄漏。
6. 底模、训练配置、数据版本、检查点和输出文件可以互相追溯。
7. 固定提示词、随机种子和生成条件已经归档。
8. 微调前后对照图已检查主体、风格、构图、颜色和细节。
9. 已记录过拟合、主体变形、背景污染、文字水印和异常结构。
10. 团队已明确哪些问题可以返工，哪些问题必须回退到未微调版本。

验收重点不是“每张图都更好看”，而是目标特征是否更稳定、可变条件是否仍能控制、异常是否有记录和回退路径。完成这些检查后，再决定是否扩大数据规模或进入正式生产。