Hugging Face Blog·2026-09-22 08:00· 8 天前精选AI 评分66

Transformers 支持运行 llama.cpp GGUF 量化模型

Transformers now runs llama.cpp quants

AI 导读

Hugging Face 的 transformers 库新增 GGUF 模型支持，用户可通过熟悉的 API 在 Apple Silicon Mac 上运行 llama.cpp 量化 checkpoint。

推荐理由

transformers 新增 GGUF 支持，在 Apple Silicon 上通过熟悉 API 运行量化模型，性能接近 llama.cpp，为本地推理提供便捷入口。

来源：Hugging Face Blog · huggingface.co