Devstral Small 2 auf einem 64-GB-Mac: Tempo, Qualität, Speicher
Mistral AI, veröffentlicht Dec 2025. 24B Parameter, dense. 4-bit-MLX-Build, 15,1 GB Download. Lizenz Apache-2.0.
- HumanEval+ pass@1: 135 von 164 (82,3%), Platz 6 von 8
- HumanEval pass@1: 145 von 164 (88,4%)
- Generierungstempo: 18,1 Tokens pro Sekunde (5 Durchläufe, 18,1 bis 18,3); Prompt 464 Tokens pro Sekunde
- Spitzenspeicher: 15,1 GB · Leistung beim Generieren: 26 W · GPU max. 83 °C
Selbst ausprobieren
pip install mlx-lm mlx_lm.chat --model mlx-community/Devstral-Small-2-24B-Instruct-2512-4bit
HumanEval/74
Die Liste mit weniger Zeichen insgesamt zurückgeben. Bei Gleichstand die erste Liste.
Es vergaß die Regel für den Gleichstand. Beide Listen hatten 7 Zeichen, und es gab die zweite zurück.
Nicht bestandene Aufgaben
HumanEval/32, HumanEval/54, HumanEval/65, HumanEval/74, HumanEval/75, HumanEval/83, HumanEval/96, HumanEval/99, HumanEval/102, HumanEval/108, HumanEval/115, HumanEval/116, HumanEval/121, HumanEval/126, HumanEval/127, HumanEval/130, HumanEval/132, HumanEval/145, HumanEval/160
Rohdateien: speed.log, evaluate.log, eval_results.json