Qwen3.6 27B を64GB Macで実測: 速度・品質・メモリ
Alibaba Qwen、リリース Apr 2026。 27B パラメータ、Dense. 4-bit MLX ビルド、ダウンロード 16.1 GB。ライセンス Apache-2.0。
- HumanEval+ pass@1: 164問中 153問(93.3%)、8モデル中 1位
- HumanEval pass@1: 164問中 158問(96.3%)
- 生成速度: 毎秒 17.6 トークン(5回、17.3〜17.8)。プロンプト処理 毎秒 459 トークン
- ピークメモリ: 17.0 GB · 生成中の消費電力: 24 W · GPU 最高 80 °C
自分で動かす
pip install mlx-lm mlx_lm.chat --model mlx-community/Qwen3.6-27B-4bit
HumanEval/67
「5 apples and 6 oranges」のような文字列を読み、残りのマンゴーの数を求める。
3番目の単語をオレンジの数として扱いました。その単語は「and」なので int('and') でエラーになりました。他の7モデルはすべてこの問題を解いています。
不合格だった問題
HumanEval/67, HumanEval/92, HumanEval/116, HumanEval/134, HumanEval/145, HumanEval/163
生ファイル: speed.log, evaluate.log, eval_results.json