gpt-oss-20b en un Mac de 64 GB: velocidad, calidad, memoria
OpenAI, lanzado en Aug 2025. 21B parámetros, 3.6B activos (mezcla de expertos). Versión MXFP4 MLX, 12,1 GB de descarga. Licencia Apache-2.0.
- HumanEval+ pass@1: 143 de 164 (87,2%), puesto 4 de 8
- HumanEval pass@1: 152 de 164 (92,7%)
- Velocidad de generación: 82,6 tokens por segundo (5 pruebas, de 82,4 a 83,0); prompt 1.782 tokens por segundo
- Memoria máxima: 12,7 GB · consumo al generar: 22 W · GPU máx. 70 °C
Pruébalo tú mismo
pip install mlx-lm mlx_lm.chat --model mlx-community/gpt-oss-20b-MXFP4-Q8
HumanEval/16
Contar los caracteres distintos de un texto, sin distinguir mayúsculas y minúsculas.
Solo contó letras. Los espacios quedaron fuera, así que 'Jerry jERRY JeRRRY' dio 4 en vez de 5.
Problemas que falló
HumanEval/16, HumanEval/39, HumanEval/57, HumanEval/76, HumanEval/103, HumanEval/121, HumanEval/127, HumanEval/134, HumanEval/145, HumanEval/147, HumanEval/149, HumanEval/151
Archivos originales: speed.log, evaluate.log, eval_results.json