So testen wir
Tempo: mlx_lm.benchmark, 1.024 Prompt-Tokens, 512 generiert, 5 Durchläufe. Qualität: EvalPlus HumanEval+ v0.1.10, greedy, pass@1, bewertet in einer Sandbox ohne Netzwerk. Leistung: macmon, während die GPU generiert. In jedem Review-Video laufen die Tests vor der Kamera erneut.
Korrekturen
- 2026-11-03: Tempo auf sauberer Maschine neu gemessen. Ein Teil des ersten Durchlaufs lief, während macOS 18 bis 37 GB im Swap hatte. Devstral Small 2 zeigte 8,1 tok/s bei etwa 19 % GPU-Auslastung; dieser Wert wurde zurückgezogen. Nach einem Neustart lief jeder Tempo-Benchmark erneut allein auf der Maschine, und nur diese Werte sind veröffentlicht. gpt-oss-20b stieg von 79,1 auf 82,6 tok/s; die anderen änderten sich um höchstens 2 %. Die Qualitätswerte hängen nicht vom Tempo ab und blieben bestehen.
- 2026-11-03: Serverabsturz bei der Codegenerierung. Dem MLX-Server ging zweimal der GPU-Speicher aus. Die Generierung wurde mit dem Resume von EvalPlus fortgesetzt (fertige Antworten bleiben erhalten), mit einem Watchdog, der den Server neu startet. Für jedes Modell liegen alle 164 Antworten vor.
- 2026-11-02: Tempo von E2B und E4B neu gemessen. Der erste Tempolauf von E2B wurde durch andere Arbeit auf dem Mac gestört (119,6 tok/s, Streuung 104 bis 133). Saubere Wiederholungen haben ihn ersetzt.
- 2026-11-02: EvalPlus ergab 0,000 auf macOS. macOS lehnt RLIMIT_AS ab, daher stürzte jeder Test-Worker vor dem Start ab. Die Null war ein Fehler des Test-Harness, behoben mit EVALPLUS_MAX_MEMORY_BYTES=-1; Tests und Timeouts unverändert.
- 2026-11-02: Token-Limit auf 8.192 angehoben. EvalPlus erlaubt standardmäßig 768 neue Tokens, was Antworten abschnitt. Für jedes Modell angehoben; Prompts, Tests und Bewertung unverändert.