Hugging Face Blog·· 13 天前精选AI 评分62
Transformers 现已支持运行 llama.cpp 的 GGUF 量化模型
Transformers now runs llama.cpp quants
AI 导读
Hugging Face 在 transformers 中加入 GGUF 支持，用户可从 Hub 选取 GGUF 检查点，用 from_pretrained 传入 gguf_file 即可在本地生成，无需额外配置。
推荐理由
Hugging Face 官方给出在 transformers 中直接加载 GGUF 的用法与与 llama.cpp 的对比数据，可据此判断本地推理工作流的变化。
来源：Hugging Face Blog · huggingface.co