Phân loại và kiểm soát lưu lượng AI theo mục đích: Search, Agent, Training
"The article announces new AI traffic management options that classify automated traffic into Search, Agent, and Training behaviors, with additional controls for content use levels such as immediate, reference, and full. It also introduces BotBase for Enterprise visibility and states that, starting September 15, 2026, new domains will default-block Training and Agent on ad pages while allowing Search, with multi-purpose crawlers evaluated by the most restrictive applicable rule."
Tác động chủ yếu đến bề mặt kiểm soát truy cập tự động: chặn mặc định Training/Agent trên trang ads giúp giảm nguy cơ thu thập dữ liệu ngoài ý muốn; cơ chế theo taxonomy Search/Agent/Training tăng tính minh bạch; bổ sung content use (immediate/reference/full) giúp giới hạn mức độ bot có thể lưu/tái sử dụng nội dung.
Giảm rủi ro mất doanh thu do bot làm suy giảm khả năng hiển thị/thu hút người dùng tại trang quảng cáo nhờ mặc định cho phép Search; tăng khả năng quản trị cho đội vận hành nhờ BotBase và quy tắc theo nhóm thay vì bot-by-bot; hỗ trợ cân bằng giữa khả năng được tìm thấy và bảo vệ nội dung.
Bài viết công bố các tùy chọn mới để quản lý lưu lượng tự động trên website theo mục đích hành vi của bot/agent, thay vì chỉ phân loại theo “AI bot” nói chung. Cách tiếp cận được mở rộng thành 3 nhóm chính: Search (thu thập/lập chỉ mục để trả lời truy vấn), Agent (tác vụ thay người dùng, thường theo thời gian thực), và Training (thu thập dữ liệu để huấn luyện hoặc fine-tune mô hình). Các bot có thể thuộc nhiều nhóm và sẽ được theo dõi theo tất cả mục đích tương ứng.
Từ 15/09/2026, các tên miền mới khi onboarding sẽ áp dụng mặc định: trên các trang hiển thị ads, Training và Agent bị chặn theo mặc định, trong khi Search vẫn cho phép. Với crawler đa mục đích (ví dụ kết hợp Search và Training), quyết định cho phép/chặn sẽ theo quy tắc nghiêm ngặt nhất trong các hành vi liên quan.
Ngoài ra, tính năng BotBase được giới thiệu cho khách Enterprise Bot Management nhằm tăng khả năng quan sát: tra cứu danh mục bot/agent đã biết, xem cách chúng được phân loại trong taxonomy mới và lọc theo bot cụ thể.
Bài viết cũng bổ sung khái niệm content use (immediate/reference/full) để kiểm soát mức độ bot có thể lưu, lập chỉ mục, trích dẫn hoặc tái tạo nội dung. Từ hôm nay, tín hiệu use=* được thử nghiệm và có thể được gắn thêm vào robots.txt cho các cấu hình managed robots.txt hiện có.