Devstral Small 2 trên Mac 64 GB: tốc độ, chất lượng, bộ nhớ
Mistral AI, ra mắt Dec 2025. 24B tham số, dày đặc. Bản 4-bit MLX, tải 15,1 GB. Giấy phép Apache-2.0.
- HumanEval+ pass@1: 135 trên 164 (82,3%), hạng 6 trên 8
- HumanEval pass@1: 145 trên 164 (88,4%)
- Tốc độ sinh: 18,1 token mỗi giây (5 lần, từ 18,1 đến 18,3); đọc prompt 464 token mỗi giây
- Bộ nhớ cao nhất: 15,1 GB · điện năng khi sinh chữ: 26 W · GPU cao nhất 83 °C
Tự chạy thử
pip install mlx-lm mlx_lm.chat --model mlx-community/Devstral-Small-2-24B-Instruct-2512-4bit
HumanEval/74
Trả về danh sách có tổng số ký tự ít hơn. Nếu bằng nhau thì trả về danh sách thứ nhất.
Nó quên luật hòa. Hai danh sách đều có 7 ký tự, và nó trả về danh sách thứ hai.
Các bài bị sai
HumanEval/32, HumanEval/54, HumanEval/65, HumanEval/74, HumanEval/75, HumanEval/83, HumanEval/96, HumanEval/99, HumanEval/102, HumanEval/108, HumanEval/115, HumanEval/116, HumanEval/121, HumanEval/126, HumanEval/127, HumanEval/130, HumanEval/132, HumanEval/145, HumanEval/160
File gốc: speed.log, evaluate.log, eval_results.json