gpt-oss-20b を64GB Macで実測: 速度・品質・メモリ
OpenAI、リリース Aug 2025。 21B パラメータ、アクティブ 3.6B(MoE). MXFP4 MLX ビルド、ダウンロード 12.1 GB。ライセンス Apache-2.0。
- HumanEval+ pass@1: 164問中 143問(87.2%)、8モデル中 4位
- HumanEval pass@1: 164問中 152問(92.7%)
- 生成速度: 毎秒 82.6 トークン(5回、82.4〜83.0)。プロンプト処理 毎秒 1,782 トークン
- ピークメモリ: 12.7 GB · 生成中の消費電力: 22 W · GPU 最高 70 °C
自分で動かす
pip install mlx-lm mlx_lm.chat --model mlx-community/gpt-oss-20b-MXFP4-Q8
HumanEval/16
大文字と小文字を区別せずに、文字列に含まれる異なる文字の数を数える。
英字だけを数えました。空白が除外されたため、'Jerry jERRY JeRRRY' は5ではなく4になりました。
不合格だった問題
HumanEval/16, HumanEval/39, HumanEval/57, HumanEval/76, HumanEval/103, HumanEval/121, HumanEval/127, HumanEval/134, HumanEval/145, HumanEval/147, HumanEval/149, HumanEval/151
生ファイル: speed.log, evaluate.log, eval_results.json