Lưu lượng web từ tác nhân AI vượt người dùng
"The article describes a shift in web traffic where AI agents and automated requests now account for more than half of Internet traffic, creating rising bandwidth and infrastructure costs without corresponding human visits or revenue. It highlights new controls and standards such as AI Crawl Control, Web Bot Auth, separate Search/Agent/Training settings, and Disallow AI Training to help site owners identify bots, set access terms, and reduce unwanted training use while preserving search visibility."
Tăng nhu cầu kiểm soát bot traffic, xác thực agent hợp lệ và giảm rủi ro lạm dụng dữ liệu cho huấn luyện hoặc thu thập trái phép.
Có thể làm tăng chi phí vận hành và giảm doanh thu trên mỗi lượt yêu cầu nếu lưu lượng tự động không được kiểm soát; đồng thời mở ra cơ hội tối ưu chính sách truy cập theo mô hình kiếm tiền.
Theo bài viết, Internet đang bước vào giai đoạn có thêm một “đối tượng” thứ hai: AI agents và các yêu cầu tự động. Cloudflare cho biết lưu lượng từ các tác nhân này đã tăng mạnh, đến mức hơn một nửa lưu lượng Internet hiện không còn đến từ con người. Điều này làm tăng chi phí băng thông, tài nguyên tính toán và áp lực lên hạ tầng, trong khi không tạo ra tương ứng lượt xem quảng cáo hay doanh thu thuê bao.
Bài viết cũng nêu rằng nhiều website cần phân biệt rõ giữa search crawlers, agent traffic và training crawlers thay vì chặn toàn bộ tự động hóa. Các cơ chế như AI Crawl Control, Web Bot Auth, Search/Agent/Training controls và Disallow AI Training được giới thiệu để chủ sở hữu website nhận diện bot, đặt điều kiện truy cập và hạn chế việc dữ liệu bị dùng để huấn luyện mô hình, đồng thời vẫn giữ khả năng xuất hiện trên công cụ tìm kiếm.
Khuyến nghị kỹ thuật là rà soát log truy cập, xác định nguồn bot hợp lệ, áp dụng chính sách theo loại lưu lượng và cân nhắc chặn hoặc giới hạn training trên các trang có giá trị thương mại cao.