gpt-oss-20b trên Mac 64 GB: tốc độ, chất lượng, bộ nhớ
OpenAI, ra mắt Aug 2025. 21B tham số, 3.6B hoạt động (hỗn hợp chuyên gia). Bản MXFP4 MLX, tải 12,1 GB. Giấy phép Apache-2.0.
- HumanEval+ pass@1: 143 trên 164 (87,2%), hạng 4 trên 8
- HumanEval pass@1: 152 trên 164 (92,7%)
- Tốc độ sinh: 82,6 token mỗi giây (5 lần, từ 82,4 đến 83,0); đọc prompt 1.782 token mỗi giây
- Bộ nhớ cao nhất: 12,7 GB · điện năng khi sinh chữ: 22 W · GPU cao nhất 70 °C
Tự chạy thử
pip install mlx-lm mlx_lm.chat --model mlx-community/gpt-oss-20b-MXFP4-Q8
HumanEval/16
Đếm số ký tự khác nhau trong chuỗi, không phân biệt chữ hoa chữ thường.
Nó chỉ đếm chữ cái, bỏ qua dấu cách, nên 'Jerry jERRY JeRRRY' ra 4 thay vì 5.
Các bài bị sai
HumanEval/16, HumanEval/39, HumanEval/57, HumanEval/76, HumanEval/103, HumanEval/121, HumanEval/127, HumanEval/134, HumanEval/145, HumanEval/147, HumanEval/149, HumanEval/151
File gốc: speed.log, evaluate.log, eval_results.json