基于树莓派和Hailo-10H的本地TTS/STT解决方案
Reddit r/LocalLLaMA2026/02/09 18:02机翻/自动摘要/自动分类
5 阅读
摘要
一位开发者正在基于树莓派5和Hailo-10H构建一个本地大语言模型系统，旨在实现首个词元生成时间（TTFT）小于100毫秒的本地TTS/STT功能。然而，初步测试显示，使用llama3.2:1b或qwen2:1.5b等模型时，TTFT性能仅为350-500毫秒，远未达到预期目标。该开发者对此结果表示不满意，并正在寻求社区中是否有关于更优本地模型或系统的推荐，以期提升性能，满足其严苛的TTFT要求。
正文
大家好， 我正在开发一个本地项目，旨在利用树莓派5和Hailo-10H使我的系统能够与本地大语言模型（）协同工作。 我的目标是实现一个本地的文本转语音（TTS）/语音转文本（STT）系统，其首个生成时间（TTFT）小于100毫秒。 我的首次测试是聊天/流式传输一个简单句子，并测量TTFT的性能。 我对使用llama3.2:1b或qwen2:1.5b等模型时的TTFT性能结果不满意。目前大约在350毫秒到500毫秒之间。 你们中是否有人有更好的本地模型或系统使用经验可以分享？ 致敬！