測定方法
速度: mlx_lm.benchmark、プロンプト1,024トークン、生成512トークン、5回。品質: EvalPlus HumanEval+ v0.1.10、greedy、pass@1、ネットワークなしのサンドボックスで採点。電力: GPU 生成中の macmon。すべてのレビュー動画でカメラの前でテストを再実行しています。
修正履歴
- 2026-11-03: クリーンな状態で速度を再測定. 最初のバッチの一部は、macOS が 18〜37 GB をスワップしている状態で実行されました。Devstral Small 2 は GPU 使用率約19%で 8.1 tok/s と表示され、この値は撤回しました。再起動後、すべての速度ベンチマークをマシン上でそのモデルだけを動かして再実行し、その値のみを公開しています。gpt-oss-20b は 79.1 から 82.6 tok/s に、他は2%以内の変化でした。品質スコアは速度に依存しないため維持しています。
- 2026-11-03: コード生成中のサーバー停止. MLX サーバーが2回 GPU メモリ不足で停止しました。EvalPlus の再開機能(完了済みの回答は保持)で生成を再開し、サーバーを自動再起動する監視プロセスを使いました。すべてのモデルで164件すべての回答が生成されています。
- 2026-11-02: E2B と E4B の速度を再測定. 最初の E2B の速度測定は Mac 上の他の作業の影響を受けていました(119.6 tok/s、104〜133 のばらつき)。クリーンな再測定で置き換えています。
- 2026-11-02: macOS で EvalPlus のスコアが 0.000 に. macOS が RLIMIT_AS を拒否するため、すべてのテストワーカーが実行前に停止していました。0 はテスト実行環境の不具合で、EVALPLUS_MAX_MEMORY_BYTES=-1 で修正しました。テストとタイムアウトは変更していません。
- 2026-11-02: トークン上限を 8,192 に引き上げ. EvalPlus の既定値は新規768トークンで、回答が途中で切れていました。すべてのモデルで引き上げ、プロンプト、テスト、採点は変更していません。