专题：vulkan

本文通过Llama-Bench对Qwen3.5系列模型进行性能测试，涵盖不同参数量和量化版本。测试结果展示了模型在Vulkan后端下的推理速度差异，为模型选择和优化提供参考。

本文记录了作者尝试以低成本搭建本地AI服务器的失败经历，详细列出了硬件配置和测试结果，指出本地部署在性能和成本上的劣势。核心亮点在于对云API与本地部署的对比分析，以及对个人技术认知的反思，对AI爱好者和开发者具有警示意义。

Simplifying Vulkan one subsystem at a time...

本文作者对 Strix Halo 模型进行了量化测试，发现自定义 imatrix Q4_K_S 版本在困惑度和模型体积上优于标准 Q4_K_M。在 ROCm 和 Vulkan 后端测试中，ROCm 在速度和能耗方面均显著优于 Vulkan，尤其是在处理长上下文时。作者计划未来主要使用 ROCm 作为 Strix Halo 的后端。

一位用户在尝试将 Qwen3-Coder 模型与 llama.cpp 和 Vulkan 结合使用时，遇到了 Safe Tensor 错误，导致模型无法正常运行。尽管用户表示 GPT OS 120B 模型在其环境中运行良好，但他仍希望能够成功部署 Qwen3。该用户正在寻求社区的帮助，以解决 Qwen3-Coder 在 Vulkan 和 llama.cpp …