Cómo medimos
Velocidad: mlx_lm.benchmark, 1.024 tokens de entrada, 512 generados, 5 pruebas. Calidad: EvalPlus HumanEval+ v0.1.10, greedy, pass@1, puntuado en un sandbox sin red. Consumo: macmon mientras la GPU genera. Cada vídeo de análisis repite las pruebas ante la cámara.
Correcciones
- 2026-11-03: Velocidad medida de nuevo en una máquina limpia. Parte del primer lote se ejecutó mientras macOS tenía de 18 a 37 GB en swap. Devstral Small 2 marcó 8,1 tok/s con la GPU ocupada cerca del 19 %; ese valor se retiró. Tras reiniciar, cada prueba de velocidad se repitió con un solo modelo en la máquina, y solo se publican esos valores. gpt-oss-20b pasó de 79,1 a 82,6 tok/s; los demás variaron un 2 % o menos. Las puntuaciones de calidad no dependen de la velocidad y se mantuvieron.
- 2026-11-03: Caída del servidor durante la generación de código. El servidor MLX se quedó sin memoria de GPU dos veces. La generación se reanudó con el resume de EvalPlus (se conservan las respuestas terminadas) bajo un vigilante que reinicia el servidor. Todos los modelos tienen sus 164 respuestas.
- 2026-11-02: Nuevas mediciones de velocidad de E2B y E4B. La primera medición de velocidad de E2B se vio afectada por otro trabajo en el Mac (119,6 tok/s, rango de 104 a 133). Mediciones limpias la sustituyeron.
- 2026-11-02: EvalPlus dio 0,000 en macOS. macOS rechaza RLIMIT_AS, así que cada proceso de pruebas fallaba antes de ejecutarse. El cero era un fallo del entorno de pruebas, corregido con EVALPLUS_MAX_MEMORY_BYTES=-1; pruebas y tiempos límite sin cambios.
- 2026-11-02: Límite de tokens subido a 8.192. EvalPlus usa por defecto 768 tokens nuevos, lo que cortaba las respuestas. Se subió para todos los modelos; prompts, pruebas y puntuación sin cambios.