ggml.ai 与 Hugging Face 深度合作，加速本地 AI 技术普及

ggml.ai 的创始人乔治·格尔加诺夫（Georgi Gerganov）在本地 AI 领域具有深远影响。他于2023年3月推出的 llama.cpp 项目，使得在普通消费者硬件上运行大型语言模型（LLM）成为可能。该项目最初的目标是通过4位量化技术在MacBook上运行LLaMA模型，尽管实现过程较为仓促，但其潜力已被广泛认可。在一篇个人体验文章中，作者提到使用 llama.cpp 运行了7B和13B大小的LLaMA模型，并指出其性能可媲美GPT-3。Meta 的原始 LLaMA 实现依赖 PyTorch 和 FairScale，需要 CUDA 和 NVIDIA 硬件支持，而乔治的工作让这一技术得以在更广泛的硬件平台上应用。Hugging Face 作为开源社区的重要力量，其 Transformers 库已成为大多数 LLM 项目的首选工具。此次合作旨在实现 llama.cpp 与 Transformers 的无缝集成，并优化基于 ggml 的软件的打包方式和用户体验。随着本地推理逐渐成为云推理的有力竞争者，简化部署流程对普及本地 AI 技术至关重要。ggml-org 还推出了 LlamaBarn，这是一个用于在 macOS 上运行本地 LLM 的菜单栏应用，希望借助更多资金投入，推动高质量开源工具的发展，让更多人能够更好地利用本地 AI 技术。