Transformers 辅助生成：草稿模型接入与耗时对照

先固定实验边界与准备材料

本题要解决的是：同一个本地写作请求，加入较小模型参与候选生成后，是否能在可接受的资源占用下缩短等待。它不是把任务交给另一个模型独立写完，也不是请求队列分流。按题目设定，草稿模型提出候选，目标模型负责验证；具体候选接受规则和实现限制仍需补充官方正文核对。

资料包中的 Hugging Face 博客索引收录了 Assisted Generation 条目，日期为 2023 年 5 月 11 日，以及 Universal Assisted Generation 条目，日期为 2024 年 10 月 29 日。索引还列出动态推测相关条目。它们只能证明存在这些研究线索，不能证明当前安装版本支持某个模型组合，更不能把标题中的 Any Assistant Model 理解为任意配置都可用。

• 保留已经能够运行的目标模型、原有生成函数及完整配置，不直接覆盖生产入口。
• 登记两个候选模型和各自分词器的本地版本或文件摘要，同时记录运行库版本、设备、精度、量化方式和设备放置。
• 准备独立实验环境、固定写作输入、原始输出保存位置及测量记录表，避免实验日志包含敏感资料。
• 在执行辅助分支前补齐对应版本官方说明：接口、模型范围、解码模式、分词器适配方式、缓存限制。任何关键项仍为未知时，只完成普通生成基线。

用兼容核对表决定能否接入

下表是接入前需要填写的工作表，不是已经通过验证的兼容名单。每项结论都应关联说明版本和本地检查记录，不能仅凭两个模型属于同一家族就填“通过”。

同分词器和不同分词器应作为两条独立核对路径，不能在一种路径报错后随意添加另一种路径的参数。不同分词器适配的细节尚未由资料包确认，本文不提供参数拼接配方。对话输入格式可参照站内的聊天模板迁移检查方法整理，但模板一致也不等于辅助解码兼容。

按普通入口、辅助入口、回退入口接线

下面是自行设计的适配层伪代码。大写函数表示项目需要实现的职责，不是 Transformers 类名或函数名；配置字段也不是官方参数。这样先明确调用关系，待版本核对完成后再填写底层接口，避免把未确认用法包装成运行示例。

base = FREEZE_EXISTING_CONFIGURATION()
sample = LOAD_FIXED_SAMPLE('writing-01')
inputs = PREPARE_TARGET_INPUT(sample, base)

ordinary = RUN_EXISTING_TARGET_GENERATION(
    inputs=inputs,
    configuration=base
)
ARCHIVE_OUTPUT('ordinary', ordinary)

compatibility = LOAD_REVIEWED_COMPATIBILITY_RECORD()
if compatibility.approved:
    assisted = RUN_VERIFIED_ASSISTED_ADAPTER(
        inputs=inputs,
        target_configuration=base,
        draft_configuration=LOAD_FIXED_DRAFT_CONFIGURATION(),
        compatibility_record=compatibility
    )
    ARCHIVE_OUTPUT('assisted', assisted)

fallback = RUN_EXISTING_TARGET_GENERATION(
    inputs=inputs,
    configuration=base
)
ARCHIVE_OUTPUT('fallback', fallback)

1. 先让普通入口读取冻结配置，保存输入、实际生效参数和完整输出，确认现有业务处理没有变化。
2. 完成兼容核对后，在辅助适配层内接入官方说明确认的调用形式；只在该层处理草稿模型和分词器适配，不修改事实材料或写作要求。
3. 先做小规模功能检查，确认返回类型、输出提取和停止状态都能被现有应用正确处理，再进入性能对照。
4. 显式切换回普通入口，用相同样本再次生成；确认辅助参数没有通过共享配置残留到普通分支。

辅助入口失败应保存错误类别、当时配置和失败阶段。实验中不要静默重试为普通生成后仍把结果标成辅助成功。服务需要自动回退时，应分别记录失败尝试耗时、回退耗时和用户最终等待时间。

固定一组写作样本并分开计时

以下输入为本文设计的练习材料，不是模型生成结果。首次只使用这一条输入完成闭环，之后再扩展到短摘要、改写和较长正文，避免用一个样本代表全部写作任务。

资料：内部资料库将在周三晚间维护；维护期间不能上传新文件，已有文件仍可阅读；恢复时间尚未确定。任务：写一则约 150 字的中文通知，依次说明维护安排、可用功能和未知事项。不得补充具体日期、恢复时刻或服务承诺。

固定输入原文、目标模型输入模板和输出上限。字数要求只用于内容检查，性能统计使用实际新增 token 数，不能把汉字数直接当作 token 数。输出提前停止或触及上限时，应保留停止原因。

1. 在仅加载目标模型的独立进程中记录加载耗时、加载后常驻显存和首次生成耗时，形成普通生成基线。
2. 为普通分支单独预热并记录预热次数与耗时。正式计时前后等待参与计算的设备完成工作，不把异步提交时间误当成计算完成时间。
3. 按预先约定的重复次数运行固定样本，例如每组五次。该次数是实验设计建议，不是官方要求。保存逐次原始数据，不只保留最快一次。
4. 在新的独立进程中加载同一个目标模型及固定草稿模型，分别记录加载、常驻占用和辅助分支预热，再按相同规则计时。
5. 记录每次新增 token 数、生成调用总耗时及资源峰值，输出解码和文件保存时间另列，不在两组中使用不同计时范围。
6. 交换两组实验先后顺序重复一轮，尽量减少其他任务和设备状态变化的影响。若草稿策略跨请求保留状态，应按已核对的实现重置或固定预热顺序并记录。

生成调用总耗时可能包含输入处理阶段的模型计算，不能直接称为纯逐词解码耗时。需要隔离解码阶段时，应使用经核对的分阶段测量方法；没有相应观测就只报告总调用耗时。

用耗时与显存对照表判断是否保留

表中没有运行结果。正式测量资源峰值前应按所用工具重置峰值统计；分别报告框架分配量、保留量或设备总占用，不把不同口径混成一列。多设备运行时逐设备记录，不能只查看目标模型所在设备。

可计算每次新增 token 数除以该次调用秒数，作为整体生成速率；它不是纯解码速率。只有输出长度、停止原因和内容交付可比时，普通组耗时中位数除以辅助组耗时中位数才适合用作该样本的耗时比。输出更短而更快，不足以说明辅助机制带来收益。

输出检查分两层：先比较 token 序列、正文及停止位置，再人工核对维护安排、可读与不可上传的区别、未知恢复时间和是否出现新增承诺。不得预设所有解码配置下逐字一致；即使设置相同随机种子，也不要把它当作跨生成路径一致性的证明。

常见故障、修正动作与不适用情况

以下是排查假设与处理顺序，不表示资料包已经记录过这些故障。

以下情况不应直接启用：资源预算无法容纳双模型；当前依赖的批处理、约束解码或缓存组合尚未确认兼容；输出很短而额外开销是否划算尚不明确；核心要求是并发吞吐而非单请求等待；或者固定样本上尚无稳定收益。这些是停止接入的判断条件，不是对所有硬件的性能定论。

回退配置应使用应用自己的开关，不假设库提供同名字段。例如将应用设置中的 generation_path 设为 ordinary、load_draft 设为 false，底层继续调用原普通生成函数，并恢复冻结的目标模型配置。仅不传草稿参数不一定释放已加载对象；显存故障后，使用不加载草稿模型的新进程验证回退更容易明确资源边界。不要无限自动重试失败组合。

发布前逐项验收并归档

• 已补齐当前版本官方接口和兼容依据，模型、分词器、精度、设备及完整生效配置均可追溯。
• 普通、辅助和回退三条路径标识清楚，辅助失败没有被静默记成成功。
• 固定样本与输入模板未变，预热、首次调用、正式计时和输出保存范围分开记录。
• 每次耗时、新增 token 数、停止原因和逐设备资源峰值都有原始记录，未知数值没有填成零。
• 通知保留维护安排和功能边界，没有新增恢复时刻或承诺；输出差异已完成复核。
• 启用门槛在实验前确定，并同时考虑耗时波动、显存余量和内容合格率，不因一次更快就全量切换。
• 普通配置能够独立运行，不加载草稿模型的回退流程已经完成检查。
• 对外发布性能结论前，已附运行时间、环境、样本范围和可追溯产物；没有运行记录时只发布实验方法，不发布速度倍数。

现阶段可以完成兼容登记、普通生成基线和实验记录结构；辅助调用的具体代码、受支持模型组合及性能结论仍需补充依据。先把这些核对项关闭，再决定是否保留草稿模型，才是本次接入的完成标准。