Devstral Small 2 en un Mac de 64 GB: velocidad, calidad, memoria
Mistral AI, lanzado en Dec 2025. 24B parámetros, denso. Versión 4-bit MLX, 15,1 GB de descarga. Licencia Apache-2.0.
- HumanEval+ pass@1: 135 de 164 (82,3%), puesto 6 de 8
- HumanEval pass@1: 145 de 164 (88,4%)
- Velocidad de generación: 18,1 tokens por segundo (5 pruebas, de 18,1 a 18,3); prompt 464 tokens por segundo
- Memoria máxima: 15,1 GB · consumo al generar: 26 W · GPU máx. 83 °C
Pruébalo tú mismo
pip install mlx-lm mlx_lm.chat --model mlx-community/Devstral-Small-2-24B-Instruct-2512-4bit
HumanEval/74
Devolver la lista con menos caracteres en total. Si empatan, devolver la primera.
Olvidó la regla del empate. Ambas listas tenían 7 caracteres, y devolvió la segunda.
Problemas que falló
HumanEval/32, HumanEval/54, HumanEval/65, HumanEval/74, HumanEval/75, HumanEval/83, HumanEval/96, HumanEval/99, HumanEval/102, HumanEval/108, HumanEval/115, HumanEval/116, HumanEval/121, HumanEval/126, HumanEval/127, HumanEval/130, HumanEval/132, HumanEval/145, HumanEval/160
Archivos originales: speed.log, evaluate.log, eval_results.json