Qwen3.5系列模型在Llama-Bench测试中的性能对比分析
Reddit r/LocalLLaMA2026/03/04 21:10机翻/自动摘要/自动分类
6 阅读
内容评分
技术含量
8/10
营销水分
3/10
摘要
本文通过Llama-Bench对Qwen3.5系列模型进行性能测试，涵盖不同参数量和量化版本。测试结果展示了模型在Vulkan后端下的推理速度差异，为模型选择和优化提供参考。
正文
本文使用Llama-Bench测试工具，对Qwen3.5系列不同参数量和量化版本的模型进行了性能评估。测试环境配置为GMKteck Strix Halo（128GB内存）和Proxmox操作系统，所有模型均基于Vulkan后端运行。测试结果展示了各模型在不同量化级别下的推理速度（以秒为单位），包括4B、9B、27B、35B及122B参数量的模型。其中，Qwen3.5-4B-UD-Q4_K_XL.gguf的测试时间为1388.87 ± 10.68秒，而Qwen3.5-122B-A10B-UD-Q4_K_XL.gguf的测试时间仅为247.16 ± 1.46秒。所有测试均使用构建版本c17dce4f (8171)。测试结果有助于开发者和研究人员了解不同模型在实际部署中的性能表现。