Cloudflare thử nghiệm Auto Router trên AI Gateway để tối ưu chi phí AI
"Cloudflare announced Auto Router in public beta through AI Gateway, allowing requests sent to cloudflare/auto to be automatically routed to a capable model based on task characteristics, access policies, and availability. The company says internal use showed up to 30% cost savings versus using only frontier models, while maintaining comparable performance on many knowledge-work and coding tasks; no CVE is involved."
Tác động chính nằm ở kiểm soát truy cập, giới hạn chi tiêu và lọc mô hình theo chính sách trong AI Gateway; không có CVE được nêu.
Có thể giúp giảm chi phí suy luận AI và hạn chế việc dùng mô hình quá mạnh cho tác vụ đơn giản, đồng thời vẫn giữ khả năng phục vụ cho các nhu cầu quan trọng.
Cloudflare đã đưa Auto Router vào public beta thông qua AI Gateway, cho phép gửi yêu cầu tới cloudflare/auto và hệ thống sẽ tự động chọn mô hình phù hợp dựa trên đặc tính tác vụ, chính sách truy cập và tình trạng khả dụng. Theo công ty, thử nghiệm nội bộ cho thấy mức tiết kiệm chi phí có thể lên tới 30% so với việc chỉ dùng các mô hình frontier.
Cơ chế này nhằm giảm tình trạng người dùng chọn mô hình quá mạnh cho các tác vụ đơn giản, như tóm tắt email hay hội thoại, trong khi vẫn giữ quyền truy cập vào mô hình mạnh khi công việc thực sự cần. Cloudflare cho biết AI Gateway đóng vai trò như một control plane cho triển khai AI nội bộ, với khả năng lọc theo quyền truy cập, cấu hình thanh toán, giới hạn chi tiêu và trạng thái của nhà cung cấp upstream.
Trong đánh giá nội bộ, cloudflare/auto đạt hiệu quả gần tương đương các mô hình hàng đầu ở nhiều tác vụ tri thức và lập trình, đồng thời có chi phí thấp hơn. Khuyến nghị cho đội kỹ thuật là thử nghiệm theo từng nhóm tác vụ, theo dõi chi phí trên mỗi lượt thành công, và kiểm tra kỹ các chính sách bảo mật, billing và fallback trước khi mở rộng triển khai.