PEFT 适配器合并：如何核对兼容性并比较摘要与改稿

先登记底模与原始权重，明确停止条件

本次要解决的问题是：已有两个写作任务适配器，如何准备一次可追溯的权重合并对照，而不是部署多个适配器或按请求切换任务。把两个适配器同时放进目录，并不构成完成合并的证据。

资料中的 Hugging Face 官方博客索引收录了 2024 年 2 月 19 日的 PEFT welcomes new merging methods。它能确认存在这一研究方向，但没有给出方法正文，不能证明当前版本支持某个适配器组合，也不能证明组合后能力更好。以下核对表和评测规则是本文提出的工程流程，不归为官方配方。

将底模、摘要适配器和改稿适配器分别保留为只读原件，实验仅使用副本。合并前后比较原件校验值；即使候选效果更好，也不要用候选产物替换原始文件。

按兼容核对表逐项放行，再建立单适配器基线

团队描述中的“同一基础模型”只能作为待核对信息。首次实验采用保守准入规则：确认两个适配器对应同一份底模权重，并为下面各项填写“已确认”“不支持”或“待确认”。待确认不等于通过。

1. 先取得索引所指文章正文，再核对所安装 PEFT 版本的接口说明与实现。把方法名称、参数限制和不支持条件记录下来；正文尚未补齐时，不填写“官方已确认”。
2. 用干净进程加载底模，分别验证摘要适配器和改稿适配器的原有加载流程，保存完整加载日志。
3. 固定样本、提示词、输入模板、输出长度限制及生成设置。需要随机生成时，为各分支使用同一组种子并记录重复次数。
4. 分别保存底模、仅摘要适配器、仅改稿适配器在两类任务上的输出。不要只让摘要适配器跑摘要、改稿适配器跑改稿。
5. 确认单适配器基线可复现后，才允许加入合并候选；基线异常应先排除加载或输入问题。

用条件式配置定义候选，不把权重当作能力比例

现有资料无法列出已确认受支持的方法及其可运行参数。下面提供的是自定义实验登记模板，不是 PEFT 的配置格式，也不能直接传给库接口。具体方法和调用代码必须在完成上一节核对后补齐。

{
  "experiment_id": "writing_merge_candidate_a",
  "support_status": "pending_verification",
  "base_revision": "REQUIRED_EXACT_REVISION",
  "inputs": [
    {"name": "summary", "path": "inputs/summary_copy"},
    {"name": "rewrite", "path": "inputs/rewrite_copy"}
  ],
  "verified_method": "REQUIRED_SUPPORTED_METHOD",
  "candidate_weights": [0.5, 0.5],
  "method_options": {},
  "output_dir": "candidates/writing_merge_candidate_a"
}

其中 0.5 与 0.5 只是待验证的候选数值，不表示各继承一半写作能力，也不证明适用于任何方法。是否需要归一化、允许哪些数值以及如何解释权重，均按已核实的方法约定处理。不要自行平均适配器文件里的所有张量。

1. 把已确认的方法及版本依据写入实验记录，检查模板中的待填字段均已替换；仍有待确认项时停止。
2. 先固定一种方法和其余选项，建立少量权重候选。只有方法允许时，才比较例如偏重摘要、均衡和偏重改稿的配置。
3. 每个候选从相同输入副本重新构建，不在上一个候选产物上继续叠加。不同方法分别编号，不同时改变权重与方法来解释单项影响。
4. 调用经过核对的本地合并入口，记录实际生效参数、告警与保存结果，避免只保存计划配置。
5. 从候选目录重新加载并运行固定样本，确认后续评测使用的是该产物，而不是内存中的旧适配器。

先区分实验要交付的是组合后的适配器还是写入底模后的模型产物。二者的保存与重载要求不能混用；目标产物类型没有确认前，不执行覆盖底模的操作。

用摘要和改稿样例检查能力干扰

以下材料和参考表达均为本文原创的评测示例，不是模型生成结果。正式比较应另备未参与适配器训练、也未参与权重选择的独立样本；同源材料及其改写版本应放在同一数据划分中，避免泄漏。

摘要的参考表达可以是“该编辑部拟于下月试行双人复核，但目前仅完成方案讨论，预算仍待批准”。改稿的参考表达可以是“由于预算尚未获批，该方案尚未正式启动，具体时间暂未确定”。不要求逐字一致，只按事实和指令边界判断。

改稿任务可先按原意保留表与对照方法列出不可变信息，再把这些信息转为各分支共用的检查项。

1. 在开发样本上选择权重，选择后冻结候选配置，再运行独立验收样本；不根据验收结果反复调参后仍沿用原成绩。
2. 每条样本都运行底模、摘要单适配器、改稿单适配器和全部候选。各分支使用同一任务输入，不为合并结果单独优化提示词。
3. 隐藏分支名称、打乱答案顺序，让编辑独立检查事实错误、指令违反、必要信息遗漏和表达质量。
4. 保存逐条判定及错误片段，再按摘要和改稿分别汇总。不能用摘要的提升抵消改稿任务中新增的事实错误。

出现加载失败或任务退化时这样排查

下表是故障排查假设，不表示资料包记录了这些故障，也不能仅凭症状确定原因。先验证原因，再执行修正。

发布前逐项验收，保留拒绝采用的结论

验收前先约定业务门槛。例如可采用保守规则：独立样本不得新增关键事实错误，摘要和改稿的指令通过率均不得低于各自单适配器基线，再比较表达质量与资源开销。这是团队可选择的规则，不是官方指标；小样本未发现问题不代表普遍无退化。

• 基础模型准确版本、适配器类型与方法支持依据已登记，没有把索引标题当作兼容证明。
• 原始底模及两个适配器的文件与校验值未改变，原有加载入口仍可恢复。
• 单适配器与候选均覆盖摘要、改稿任务，输入协议和生成条件可对照。
• 权重选择样本与独立验收样本分开，失败、截断和不利样本均已记录。
• 事实、指令遵循、关键遗漏和表达质量分别检查，结果按任务汇总。
• 准备发布的产物已从保存目录重新加载验收，产物类型、底模依赖和配置清单齐全。
• 发布说明只写已获得记录支持的结论，限定模型版本、方法、任务和样本范围，不宣传通用能力叠加。
• 保留合并配置、环境清单、原始输出、评审记录和回退步骤；候选未通过时继续使用原始适配器。

当前资料能支持的结论是：应先补齐方法正文和版本兼容依据，再开展上述对照；尚不能判断哪种方法或权重值得采用。若一个任务改善、另一个任务退化，应把它记为能力取舍，而不是宣布合并成功。