KV 缓存量化：长文生成如何核对配置与显存收益

先明确这次只改缓存，不改资料和权重

本题要解决的是：本地模型已经能加载，但输入资料和生成正文变长后，如何评估注意力缓存的资源占用，并判断是否值得切换缓存方案。实验不压缩对话文本，不改模型权重精度，也不讨论服务端提示缓存命中。

资料包中的 Hugging Face Blog 索引列出了 Unlocking Longer Generation with Key-Value Cache Quantization，标注日期为 2024 年 5 月 16 日。这只能确认研究线索，不能据此确认当前 Transformers 的参数名称、可用后端、依赖版本或支持模型。以下表格和配置是原创实验设计，不是官方调用配方；具体接口核对完成前，只准备样本和记录表，不开启量化分支。

准备一张模型与后端准入表

每个候选组合单独登记，状态只使用“待核对、允许试运行、不适用”。模型能加载并不能代替缓存兼容核对；依赖能安装也不能代替生成验证。

本资料包未确认任何具体模型与量化后端组合，上表当前应从“待核对”开始。补充对应版本文档、模型说明和本地配置记录后，再决定是否允许试运行。不要为了让候选方案启动而同时升级整套生产环境。

建立普通基线，再登记量化分支

1. 留存当前可工作的环境与启动配置。固定权重、分词器、设备分配、权重精度、注意力实现和生成设置，给普通入口命名为 ordinary。
2. 准备脱敏资料，保存原文版本、完整提示词和格式化后的输入。以实际分词结果记录输入长度，不用中文字数代替 token 数。
3. 使用当前已经工作的普通生成代码运行短样本。记录有效缓存类型、输出、停止原因与资源数据，确认计量流程可用。
4. 在隔离环境完成准入表核对，将候选缓存配置映射到已确认的接口。除缓存相关选项及其必需依赖外，不改变其他条件。
5. 先运行同一短样本，核对日志中的有效配置或运行时缓存类型。配置被忽略、自动回退或无法确认时，标记为无效对照，不计为量化结果。
6. 通过短样本检查后，再逐档增加输入和输出预算。任何失败都保留原始日志，不自动改参数重试后覆盖原记录。

下面是团队实验登记格式，字段名由本文定义，不可直接传给 Transformers。字符串中的待核对项不是可用参数值；只有与当前接口逐项建立映射后，才能形成执行配置。

{
  "record_type": "experiment_design_not_library_config",
  "shared": {
    "model_revision": "FIXED_LOCAL_REVISION",
    "tokenizer_revision": "FIXED_LOCAL_REVISION",
    "sample_id": "writing_case_a",
    "batch_size": 1,
    "generation_settings": "FIXED_EXISTING_SETTINGS",
    "weight_precision": "UNCHANGED"
  },
  "ordinary": {
    "entry": "EXISTING_WORKING_ENTRY",
    "cache_options": "ARCHIVED_BASELINE_OPTIONS"
  },
  "quantized_candidate": {
    "enabled": false,
    "backend": "VERIFY_BEFORE_USE",
    "dependency_versions": "VERIFY_BEFORE_USE",
    "cache_options": "MAP_FROM_VERSIONED_DOCS"
  },
  "fallback_entry": "ordinary"
}

回退应恢复归档的整份普通配置，而不是只删掉某一个量化字段。候选依赖与原环境不同的，还应切回原环境；缓存对象也要重新创建，不能沿用失败请求留下的状态。

用一份虚构资料检查事实是否丢失

先做一个容易人工判分的小样本，再扩展到团队的长资料。以下内容仅为虚构测试材料，不代表任何产品事实。

任务：仅根据给定资料写一份项目简报。
必须交代试点时间、适用范围、预算和审批状态。
保留计划与已完成的区别，不补充资料没有说明的进展。
最后列出各项事实对应的资料段落编号。

扩展长度时加入版本固定的背景段落，避免引入相互矛盾的事实；同一长度档内，两种缓存必须接收完全相同的输入。对短输出预算也应使用能合理容纳必选事实的任务，避免把预算过小造成的缺项误判为缓存问题。

逐项登记“正确、遗漏、改写失真、无依据新增”，并回查原文，不能把普通缓存的回答直接当标准答案。需要扩大不同位置的检查样本时，可参照长文资料遗漏检查流程组织事实与查询，但仍应独立完成本次缓存对照。

交叉改变长度，分别记录显存与耗时

以下为建议实验矩阵，不是已完成的结果。示例输入目标为约 1024 与约 4096 token，新增输出预算为 256 与 1024 token；需先确认输入加输出预算处于模型支持范围和设备可承受范围，不能将这些长度当作兼容保证。

1. 每个分支使用独立进程，模型加载完成后记录空闲状态和常驻占用；计量阶段不包含下载、加载与输入分词。
2. 用相同规则进行预热，预热数据单独保存，不并入正式耗时。每次正式请求重新初始化请求级缓存，避免复用前一请求状态。
3. 生成前重置本轮峰值统计，使用适合当前设备的同步方式确定计时边界；生成结束并完成同步后停止计时。文本解码和文件保存另计。
4. 记录本轮峰值已分配显存、峰值保留显存及其单位；多设备逐卡登记。设备监控读数与框架统计分开保存，不混称为同一种峰值。
5. 每格建议重复三轮，交替分支顺序，保留逐轮记录并汇总中位耗时和峰值范围，同时记录实际新增 token、停止原因和质量检查结果。

建议每行包含：运行编号、配置版本、样本编号、实际输入 token、输出预算、实际输出 token、普通或候选分支、有效缓存类型、加载后常驻占用、峰值已分配显存、峰值保留显存、生成耗时、停止原因、事实错误及产物位置。

本设计的生成耗时包含本次输入处理与后续生成，不应标成纯解码耗时。若要区分输入预填充和逐步生成，应增加与当前实现匹配的分阶段计量，不把首段文字显示时间直接视为预填充时间。

比较时先核对实际输出长度：候选因提前停止而少生成内容，不能直接宣称更快、更省显存。同样长度格内普通分支显存不足而候选完成，只能说明该格的可运行性差异，不能计算不存在的普通完成耗时。没有运行记录时，节省比例、速度变化和质量结论均保持“待验证”。

按故障、原因和动作定位异常

下表列出排查方向，不是对某个后端的已知缺陷认定。先复现并保存证据，再判断原因。

发布前同时验收成稿与回退入口

• 兼容依据齐全：记录具体模型修订、依赖版本、缓存后端和适用限制，未把历史索引当作当前接口证明。
• 对照条件一致：资料、模板、权重精度、设备分配与解码设置固定，确认候选确实生效。
• 长度与计量可追溯：保存实际输入输出 token、停止原因、计时范围和显存统计口径，失败样本没有被删除。
• 性能符合预先约定：目标长度格能完成，峰值留有团队规定的余量，耗时不超过业务上限；这些上限在运行前确定。
• 正文事实通过复核：时间、对象、范围、否定条件、金额与审批状态正确，没有新增承诺或无依据进展。
• 生成结果完整：没有重复循环、异常字符、半句结尾、缺失必选章节或未说明的截断。
• 普通入口可恢复：在普通分支能够承受的固定样本上验证配置切回和重新生成；超出普通容量的任务暂停交给人工，不无限重试。
• 结论附带适用范围：只对已完成的模型、环境和长度格下结论，不能推广为全部模型均支持、一定加速或质量无损。

当前可交付的是准入表、配置登记原型和实验验收方法，尚不能推荐某个具体后端或参数组合。下一步应补齐对应版本正文与接口依据，再完成普通基线和候选长度矩阵；在显存、耗时、事实质量及回退四项都满足要求后，才将候选接入长文写作流程。