Devstral Small 2 を64GB Macで実測: 速度・品質・メモリ
Mistral AI、リリース Dec 2025。 24B パラメータ、Dense. 4-bit MLX ビルド、ダウンロード 15.1 GB。ライセンス Apache-2.0。
- HumanEval+ pass@1: 164問中 135問(82.3%)、8モデル中 6位
- HumanEval pass@1: 164問中 145問(88.4%)
- 生成速度: 毎秒 18.1 トークン(5回、18.1〜18.3)。プロンプト処理 毎秒 464 トークン
- ピークメモリ: 15.1 GB · 生成中の消費電力: 26 W · GPU 最高 83 °C
自分で動かす
pip install mlx-lm mlx_lm.chat --model mlx-community/Devstral-Small-2-24B-Instruct-2512-4bit
HumanEval/74
文字数の合計が少ない方のリストを返す。同じ場合は最初のリストを返す。
同点のルールを忘れていました。どちらのリストも7文字で、2番目のリストを返しました。
不合格だった問題
HumanEval/32, HumanEval/54, HumanEval/65, HumanEval/74, HumanEval/75, HumanEval/83, HumanEval/96, HumanEval/99, HumanEval/102, HumanEval/108, HumanEval/115, HumanEval/116, HumanEval/121, HumanEval/126, HumanEval/127, HumanEval/130, HumanEval/132, HumanEval/145, HumanEval/160
生ファイル: speed.log, evaluate.log, eval_results.json