社区Reddit r/LocalLLaMA2026/02/09 20:2960
Bitnet.cpp 是微软官方的 C++ 推理框架，专为 1 比特大语言模型（LLMs）设计，并针对 BitNet b1.58 等架构优化。它支持在 CPU 和 GPU 上进行快速、无损推理（计划支持 NPU），利用高度优化的内核处理三元量化模型。该框架官方支持 BitNet-b1.58 系列、适应 1.58 比特量化的 LLaMA 3 模型，以及 Fa…
专题：inference-framework
按该标签聚合的大模型资讯列表（自动分类与标签提取）。共 1 篇文章。