社区Hacker News2026/03/11 01:146950
• MetalRT是Apple Silicon上首个原生多模态AI推理引擎
• LLM推理速度达658 token/s，远超lama.cpp和MLX
RunAnywhere团队推出MetalRT引擎，专为Apple Silicon打造，通过定制Metal着色器实现LLM、STT、TTS三模态超高速本地推理，性能全面超越lama.cpp、MLX等主流框架。配套开源工具RCLI支持全离线语音交互，首个token延迟低至6.6ms，为设备端AI应用提供全新基础设施。