Gemma 4 E4B en un Mac de 64 GB: velocidad, calidad, memoria
Google, lanzado en Apr 2026. 8B parámetros, denso. Versión 4-bit MLX, 5,2 GB de descarga. Licencia Apache-2.0.
- HumanEval+ pass@1: 137 de 164 (83,5%), puesto 5 de 8
- HumanEval pass@1: 143 de 164 (87,2%)
- Velocidad de generación: 80,5 tokens por segundo (5 pruebas, de 79,4 a 81,3); prompt 3.353 tokens por segundo
- Memoria máxima: 5,1 GB · consumo al generar: 22 W · GPU máx. 75 °C
Pruébalo tú mismo
pip install mlx-lm mlx_lm.chat --model mlx-community/gemma-4-e4b-it-4bit
Problemas que falló
HumanEval/26, HumanEval/32, HumanEval/36, HumanEval/47, HumanEval/59, HumanEval/65, HumanEval/76, HumanEval/89, HumanEval/92, HumanEval/93, HumanEval/95, HumanEval/103, HumanEval/113, HumanEval/115, HumanEval/118, HumanEval/122, HumanEval/130, HumanEval/132, HumanEval/145, HumanEval/160, HumanEval/163
Archivos originales: speed.log, evaluate.log, eval_results.json