MetalRT：Apple Silicon上首个原生多模态AI推理引擎，LLM/STT/TTS性能全面碾压主流框架

Hacker News2026/03/11 01:14机翻/自动摘要/自动分类

内容评分

技术含量

9/10

营销水分

6/10

摘要

RunAnywhere团队推出MetalRT引擎，专为Apple Silicon打造，通过定制Metal着色器实现LLM、STT、TTS三模态超高速本地推理，性能全面超越lama.cpp、MLX等主流框架。配套开源工具RCLI支持全离线语音交互，首个token延迟低至6.6ms，为设备端AI应用提供全新基础设施。

正文

RunAnywhere（YC W26）团队推出MetalRT——专为Apple Silicon优化的高性能AI推理引擎，首次在单一架构下原生支持大语言模型（）、语音转文本（STT）和文本转语音（TTS）三模态推理。通过直接编写定制Metal计算着色器，绕过传统框架的运行时开销，实现内存预分配与零动态分配，显著降低延迟。

配套开源工具RCLI是目前Apple Silicon上最快的端到端语音AI命令行工具，支持麦克风实时输入、本地模型处理、语音即时响应，全程离线运行，无需API密钥或云端依赖。测试显示：

推理：Qwen3-0.6B达658 /s（是lama.cpp的1.67倍），首个延迟仅6.6ms；
STT：70秒音频在101ms内完成转录，比mlx-whisper快4.6倍；
TTS：合成耗时178ms，为mlx-audio和Sherpa-onNX的2.8倍快。

RCLI采用多线程、无锁环形缓冲与双缓冲TTS技术，支持每秒处理38个语音指令，模型切换时间低于5K语音片段，并自动回退至lama.cpp作为备选。

安装方式：

brew tap RunanywhereAI/rcli
brew install rcli
rcli setup
rcli

或

curl -fsSL https://raw.githubusercontent.com/RunanywhereAI/RCLI/main/install.sh | bash

MetalRT：Apple Silicon上首个原生多模态AI推理引擎，LLM/STT/TTS性能全面碾压主流框架

内容评分

摘要

正文

标签