Hugging Face Blog·· 14 天前精选AI 评分62
Hugging Face 发布 tokenizers v1 候选版，编码速度最高提升 30 倍
tokenizers v1: encode, decode and scaling, measured
AI 导读
Hugging Face 发布 tokenizers v1 候选版，在 Apple M4 Max 单线程下对十类模型的编码速度比 v0.23 快 3 至 30 倍，八线程扩展效率为线性的 76%，且输出 token ID 与旧版完全一致。
推荐理由
原文给出 v1 相对 v0.23 的加速幅度、实现改动与安装方式，可据此判断是否值得替换现有 tokenizer。
来源：Hugging Face Blog · huggingface.co