使用的软件是LM Studio

下载的是unsloth QWEN3.5 35B Q6K。

除了unsloth外底下两个也可以，看你我方采选。

加这个可以关闭想考格式

要是落魄文长度在4000token驾驭，速率可以跑到42-43token/s，拉长到20K的落魄文长度，速率会降到37-39token/s，但哪怕是37这个速率也裕如快了，况且这是Q6K，可能更多的东说念主会采选Q4KM的精度，落魄文多少量的情况下也能提高50token/s。

现在使用来看，斗鱼体育QWEN3.5 35B的上风是速率快，其他就一般般了。

QWEN3.5 27B十分猛斗鱼体育app官网，比QWEN3.5 35B强，能和QWEN3.5 122B-A10B互有输赢，但我这个12G显卡跑27B Q4KM唯有3.6token/s的速率，真实不可用。16G显卡跑27B估量也挺劳苦的，我菜只可跑Q3量化，唯有24G显卡智力稳稳的跑27B，又大要起码24G的苹果条记本智力拼凑跑跑27B。

• 斗鱼体育app官网
• 12G
• 显卡
• 实测
• Qwen3.5