Cloudflare hợp nhất Workers AI và AI Gateway thành một mặt phẳng điều khiển AI
"Cloudflare announced plans to unify Workers AI and AI Gateway into a single AI control plane, merging the Workers binding and REST API into one path for routing requests to model providers, including Workers AI. The update adds automatic gateway creation for first use, full observability and logging, unified billing using AI Gateway credits for Workers AI, and elevated rate limits for prepaid usage; no CVE is involved."
Tăng cường quan sát lưu lượng, ghi log đầy đủ và hỗ trợ kiểm soát truy cập tốt hơn cho các luồng AI; không có CVE hay lỗ hổng cụ thể được nêu.
Giúp đơn giản hóa quản trị AI, hợp nhất thanh toán và giảm chi phí vận hành khi dùng nhiều nhà cung cấp; cần lưu ý tác động đến quy trình tích hợp và ngân sách sử dụng.
Cloudflare cho biết sẽ hợp nhất Workers AI và AI Gateway thành một AI control plane thống nhất, nhằm đưa các luồng gọi mô hình qua cùng một đường dẫn cho cả Workers binding và REST API. Với thay đổi này, người dùng có thể định tuyến yêu cầu tới nhiều nhà cung cấp mô hình, bao gồm Workers AI, đồng thời quản lý observability, logging, billing và security từ một nơi.
Điểm đáng chú ý là nếu chưa tạo gateway trước đó, hệ thống có thể tự động tạo default gateway trong lần gọi xác thực đầu tiên. Khi đó, các yêu cầu sẽ được ghi log đầy đủ, theo dõi token usage, đo latency, và phân bổ chi phí mà không cần thiết lập dashboard thủ công.
Cloudflare cũng cho phép dùng AI Gateway credits để thanh toán cho Workers AI, thay vì chỉ áp dụng cho các nhà cung cấp bên ngoài. Với mô hình prepaid billing, người dùng có thể dùng chung số dư cho nhiều dịch vụ AI và có thể được hưởng rate limits cao hơn theo chính sách hiện hành.
Về kỹ thuật vận hành, đội ngũ nên rà soát lại cách gọi API, cấu hình gateway mặc định, và kiểm tra tác động của thay đổi billing cũng như rate limit trước khi triển khai rộng.