Tối ưu phục vụ mô hình lớn Kimi K-series và GLM trên Workers AI bằng lượng tử hóa và kiểm tra toàn vẹn KV cache
"Cloudflare describes production optimizations for serving large open models Kimi K-series and GLM on Workers AI, including FP8 KV-cache quantization, INT4 weight compression, and KV-cache integrity checks. The changes increase memory capacity and throughput, reduce cost, and preserve model accuracy, with no CVE involved."
Tăng độ tin cậy khi dùng chung KV cache bằng cơ chế integrity checking để ngăn rò/đọc nhầm dữ liệu giữa các yêu cầu; chi phí vận hành thấp (dưới ~1%).
Giảm chi phí và tăng thông lượng nhờ nới giới hạn bộ nhớ (KV cache FP8, trọng số INT4 cho GLM), giúp phục vụ nhiều khách hàng hơn với giữ nguyên độ chính xác.
Bài viết mô tả các tối ưu triển khai để phục vụ các mô hình mã nguồn mở Kimi K-series và GLM ở quy mô lớn trên Workers AI, tập trung vào hạn chế nghẽn bộ nhớ GPU. Nhóm thực hiện ba lớp kỹ thuật: lượng tử hóa KV cache, nén trọng số mô hình, và kiểm tra toàn vẹn KV cache dùng chung.
Với KV cache, mặc định lưu ở BF16; hệ thống chuyển sang FP8 (e4m3) để giảm kích thước bộ nhớ. Trên Kimi K2.6, dung lượng ngữ cảnh tăng từ khoảng 686.000 lên ~1,37 triệu token. Dữ liệu benchmark cho thấy FP8 cho phép tăng mức đồng thời (đến 64), đạt ~2.192 tok/s, trong khi BF16 hết cache ở 32; đồng thời đánh giá chất lượng cho thấy kết quả tương đương giữa FP8 và BF16.
Với GLM 5.2, trọng số được nén từ FP8 xuống INT4, giảm kích thước checkpoint từ 705 GB còn 421 GB và giảm bộ nhớ mỗi GPU trong triển khai tensor-parallel 8 chiều (xấp xỉ 88 GB xuống 52 GB). Decode nhanh hơn nhờ giảm dữ liệu phải stream; prefill được giữ ở FP8 vì là tác vụ compute-bound.
Cuối cùng, do nhiều yêu cầu chia sẻ cùng KV cache, hệ thống bổ sung KV cache integrity checking: gắn tag theo trang cache và đối chiếu ánh xạ trước khi đọc. Chi phí đo được dưới ~1% cho throughput và p95 latency trong cấu hình thử nghiệm.