Cách chúng tôi đo
Tốc độ: mlx_lm.benchmark, 1.024 token prompt, sinh 512 token, 5 lần. Chất lượng: EvalPlus HumanEval+ v0.1.10, greedy, pass@1, chấm trong sandbox không có mạng. Điện năng: macmon khi GPU đang sinh chữ. Mỗi video review đều chạy lại bài test trước máy quay.
Các lần sửa
- 2026-11-03: Đo lại tốc độ trên máy sạch. Một phần lượt đo đầu chạy khi macOS đang dùng 18 đến 37 GB swap. Devstral Small 2 ra 8,1 tok/s với GPU chỉ bận khoảng 19%; số đó đã bị rút lại. Sau khi khởi động lại, mọi lần đo tốc độ được chạy lại, mỗi lần chỉ một model trên máy, và chỉ những số này được công bố. gpt-oss-20b tăng từ 79,1 lên 82,6 tok/s; các model khác thay đổi không quá 2%. Điểm chất lượng không phụ thuộc tốc độ nên được giữ nguyên.
- 2026-11-03: Máy chủ bị sập khi sinh code. Máy chủ MLX hết bộ nhớ GPU hai lần. Việc sinh code được tiếp tục bằng chế độ resume của EvalPlus (giữ các câu đã xong), với một tiến trình giám sát tự khởi động lại máy chủ. Mọi model đều có đủ 164 câu trả lời.
- 2026-11-02: Đo lại tốc độ E2B và E4B. Lần đo tốc độ E2B đầu tiên bị ảnh hưởng bởi việc khác đang chạy trên Mac (119,6 tok/s, dao động từ 104 đến 133). Các lần đo lại sạch đã thay thế nó.
- 2026-11-02: EvalPlus ra 0,000 trên macOS. macOS từ chối RLIMIT_AS, nên mọi tiến trình chạy test đều sập trước khi chạy. Số 0 là lỗi của bộ chạy test, đã sửa bằng EVALPLUS_MAX_MEMORY_BYTES=-1; test và thời gian chờ không đổi.
- 2026-11-02: Nâng giới hạn token lên 8.192. EvalPlus mặc định chỉ 768 token mới, làm câu trả lời bị cắt ngắn. Đã nâng cho mọi model; đề bài, test và cách chấm không đổi.