专题:model-compression

按该标签聚合的大模型资讯列表(自动分类与标签提取)。5 篇文章。

社区Hacker News2026/04/04 22:535610
TurboQuant‑WASM 在浏览器端实现向量量化
利用 WASM 提供毫秒级压缩/解码

TurboQuant‑WASM 是 Google 为浏览器环境打造的向量量化实现,基于 WebAssembly 提供高效的向量压缩与解码 API。它通过码本技术将高维向量压缩数十倍,显著降低网络带宽和存储开销,同时在前端实现毫秒级恢复,提升 AI 推理、检索等 Web 应用的响应速度。示例代码展示了仅几行 JavaScript 即可完成量化、解码,兼容主流…

社区Hacker News2026/03/27 20:115620
参数高效微调技术
13参数实现强推理

TinyLoRA是基于Transformer的轻量化模型架构,仅需13个参数即可实现高效推理。通过结构优化降低计算和存储需求,保持高性能,适用于嵌入式设备等资源受限场景。该技术突破传统参数微调范式,为边缘计算提供新思路,具有实际部署价值。

社区Reddit r/LocalLLaMA2026/02/20 22:375830

VoiceTeller 将传统语音助手中云端的 120 B LLM 替换为本地微调的 0.6 B 小模型 Qwen3,单轮任务准确率提升至 90.9%,核心推理时延从 375‑750 ms 降至约 40 ms,总交互延迟从 680‑1300 ms 缩减至约 315 ms,实现了 1/200 参数量的高效、低延迟本地化方案,并全部开源。