智谱清言Qwen3 Next Coder模型：量化敏感性探讨？
摘要
用户在使用Qwen3 Next Coder UD-Q6_K_XL模型时，对其速度和质量印象深刻，但发现模型在处理复杂问题时常陷入推理循环，并采取奇怪的迂回策略，例如将Docker日志转储到文件而非直接读取，以及在未要求时创建计划文件。用户怀疑这些“文件偏好”和推理异常可能源于模型对量化的敏感性，并询问其他用户在使用Q6和Q8量化版本时的体验差异，以判断是否是量化导致的问题。
正文
大家好。
我使用智谱清言Qwen3 Next Coder UD-Q6_K_XL + Kilo Code模型已经几天了。它能很好地适应16GB显存（非专家部分）和96GB内存（专家部分），总的来说，与GPT OSS 120B相比，其速度和质量给我留下了深刻印象。
但与此同时，如果问题达到一定复杂程度，它在推理时经常会陷入循环，并采取一些相当奇怪的迂回策略。例如，它会执行一个在后台运行的命令（因为末尾有&），将Docker容器的所有日志转储到一个/tmp/*.txt文件中，而不是在需要时直接从容器中读取日志？我的意思是，这确实有效，但为什么要多此一举呢？而且它在其他方面已经证明了对Docker的强大能力，那为什么会有这种奇怪的操作？
这种“文件偏好”似乎并非孤立的、一次性的问题，因为它在架构师模式下运行时，也喜欢创建像plans/*.md这样的文件，尽管我当时只要求它进行分析，并未要求它进行任何文档编写。
在我这个非专业人士看来，这似乎是量化带来的一个怪癖，但我无法确定，所以我来这里请教大家。
这些问题是否可能是模型对量化非常敏感的结果？llama-server似乎为这个模型自动启用了mmap，所以理论上我应该能够运行UD-Q8_K_XL而不会耗尽内存。大家目前的使用体验如何？Q6和Q8之间有什么区别吗？还是我多虑了，这只是“Next”模型的固有特性？谢谢。