社区Reddit r/LocalLLaMA2026/02/09 18:0250
一位开发者正在基于树莓派5和Hailo-10H构建一个本地大语言模型系统,旨在实现首个词元生成时间(TTFT)小于100毫秒的本地TTS/STT功能。然而,初步测试显示,使用llama3.2:1b或qwen2:1.5b等模型时,TTFT性能仅为350-500毫秒,远未达到预期目标。该开发者对此结果表示不满意,并正在寻求社区中是否有关于更优本地模型或系统的推…
按该标签聚合的大模型资讯列表(自动分类与标签提取)。共 1 篇文章。