gpt-oss-20b auf einem 64-GB-Mac: Tempo, Qualität, Speicher
OpenAI, veröffentlicht Aug 2025. 21B Parameter, 3.6B aktiv (Mixture of Experts). MXFP4-MLX-Build, 12,1 GB Download. Lizenz Apache-2.0.
- HumanEval+ pass@1: 143 von 164 (87,2%), Platz 4 von 8
- HumanEval pass@1: 152 von 164 (92,7%)
- Generierungstempo: 82,6 Tokens pro Sekunde (5 Durchläufe, 82,4 bis 83,0); Prompt 1.782 Tokens pro Sekunde
- Spitzenspeicher: 12,7 GB · Leistung beim Generieren: 22 W · GPU max. 70 °C
Selbst ausprobieren
pip install mlx-lm mlx_lm.chat --model mlx-community/gpt-oss-20b-MXFP4-Q8
HumanEval/16
Die verschiedenen Zeichen in einem Text zählen, ohne Groß- und Kleinschreibung zu unterscheiden.
Es zählte nur Buchstaben. Die Leerzeichen fielen weg, also ergab 'Jerry jERRY JeRRRY' 4 statt 5.
Nicht bestandene Aufgaben
HumanEval/16, HumanEval/39, HumanEval/57, HumanEval/76, HumanEval/103, HumanEval/121, HumanEval/127, HumanEval/134, HumanEval/145, HumanEval/147, HumanEval/149, HumanEval/151
Rohdateien: speed.log, evaluate.log, eval_results.json