Gemma 4 E2B を64GB Macで実測: 速度・品質・メモリ
Google、リリース Apr 2026。 5.1B パラメータ、Dense. 4-bit MLX ビルド、ダウンロード 3.6 GB。ライセンス Apache-2.0。
- HumanEval+ pass@1: 164問中 127問(77.4%)、8モデル中 8位
- HumanEval pass@1: 164問中 137問(83.5%)
- 生成速度: 毎秒 130.5 トークン(5回、130.3〜130.6)。プロンプト処理 毎秒 7,728 トークン
- ピークメモリ: 3.5 GB · 生成中の消費電力: 24 W · GPU 最高 71 °C
自分で動かす
pip install mlx-lm mlx_lm.chat --model mlx-community/gemma-4-e2b-it-4bit
不合格だった問題
HumanEval/10, HumanEval/26, HumanEval/32, HumanEval/37, HumanEval/39, HumanEval/44, HumanEval/54, HumanEval/59, HumanEval/64, HumanEval/65, HumanEval/79, HumanEval/83, HumanEval/84, HumanEval/89, HumanEval/93, HumanEval/107, HumanEval/115, HumanEval/118, HumanEval/122, HumanEval/130, HumanEval/132, HumanEval/140, HumanEval/145, HumanEval/152, HumanEval/156, HumanEval/160, HumanEval/163
生ファイル: speed.log, evaluate.log, eval_results.json