Hugging Face 提出离线 Top-K Logits 与融合分块 KL 损失，让知识蒸馏低成本规模化

Hugging Face 最新论文提出两项系统改动，让大语言模型知识蒸馏的训练成本大幅下降：一是离线缓存教师模型每位置的 top-100 logits，训练时教师无需常驻显存；二是融合分块 KL 损失，避免生成完整的词表×序列长度矩阵。以 gpt-oss-120b 为例，稠密 KL 峰值约 250GB 显存，融合分块方案峰值约 128GB，使长上下文修复可在单 GPU 上完成。