Cloudflare AI Gateway: Kiểm soát chi phí AI cho doanh nghiệp
"Cloudflare has released spend controls for its AI Gateway to address rising AI costs. These controls include dollar-based budgets scoped by model, provider, or custom attributes, with options for blocking or routing requests upon limit reach. A closed beta introduces identity-driven budgets and routing using Cloudflare Access and JWTs for per-user cost attribution."
Tính năng này không trực tiếp liên quan đến bảo mật dữ liệu, nhưng việc kiểm soát truy cập thông qua Cloudflare Access có thể giúp giảm thiểu rủi ro do sử dụng AI không được kiểm soát.
Việc kiểm soát chi phí AI là yếu tố quan trọng để đảm bảo ROI cho các dự án AI. Tính năng này giúp doanh nghiệp quản lý ngân sách hiệu quả và tránh các khoản chi không cần thiết.
Cloudflare vừa công bố tính năng kiểm soát chi phí cho AI Gateway, giải quyết bài toán chi phí AI tăng cao. Tính năng này cho phép đặt ngân sách dựa trên đô la Mỹ, áp dụng cho từng mô hình, nhà cung cấp hoặc thuộc tính tùy chỉnh, với tùy chọn chặn hoặc chuyển hướng yêu cầu khi đạt giới hạn. Bản beta kín giới thiệu ngân sách và chuyển hướng dựa trên danh tính, sử dụng Cloudflare Access và JWTs để theo dõi chi phí theo người dùng.
Nhiều công ty đang đẩy nhân viên sử dụng AI mạnh mẽ để không bị tụt hậu. Tuy nhiên, hóa đơn AI có thể tăng vọt. Việc thiếu kiểm soát khiến khó xác định nguồn gốc chi phí: là đội machine learning, thực tập sinh hay công việc CI/CD chạy quá tải?
AI Gateway hoạt động như một lớp trung gian giữa ứng dụng và các nhà cung cấp AI. Nó cung cấp các công cụ hữu ích như thanh toán thống nhất, ghi nhật ký, bộ nhớ cache, giới hạn tốc độ và bảo vệ dữ liệu nhạy cảm. Trước đây, việc theo dõi chi phí theo người dùng hoặc thiết lập ngân sách cụ thể là không khả thi.
Giờ đây, AI Gateway hỗ trợ giới hạn chi tiêu theo ngân sách tính bằng đô la, không phải token. Bạn có thể áp dụng giới hạn cho mô hình, nhà cung cấp hoặc thuộc tính tùy chỉnh như người dùng, đội nhóm hoặc ứng dụng. Ngân sách có thể được đặt theo ngày, tuần hoặc tháng, với tùy chọn chặn yêu cầu hoặc chuyển hướng sang mô hình khác khi đạt giới hạn. Bạn có thể theo dõi chi tiêu trên bảng điều khiển phân tích.
Cloudflare cũng đang sử dụng AI Gateway nội bộ, theo dõi hàng triệu yêu cầu và hàng tỷ token mỗi tháng. Họ đã giải quyết vấn đề tương tự: ai đang sử dụng gì và làm thế nào để lập ngân sách?
Góc nhìn của Orange Cloud
Theo chúng tôi, tính năng này đặc biệt hữu ích cho các doanh nghiệp Việt Nam đang bắt đầu triển khai AI. Việc kiểm soát chi phí ngay từ đầu sẽ giúp tránh những bất ngờ về hóa đơn. Các công ty có thể thử nghiệm tính năng này với một nhóm nhỏ nhân viên để đánh giá hiệu quả trước khi triển khai rộng rãi. Điều đáng chú ý là việc tích hợp với Cloudflare Access cho phép theo dõi chi phí theo từng người dùng, rất quan trọng để quản lý ngân sách hiệu quả.