Cloudflare thêm tùy chọn chặn AI training nhưng vẫn giữ khả năng lập chỉ mục tìm kiếm
"Cloudflare introduced a new "Disallow AI Training" setting that lets site owners prevent AI training while still allowing search indexing by accountable mixed-use crawlers. The change is published via robots.txt and updates how existing Block settings apply, so training-only crawlers are blocked without affecting search discoverability; Cloudflare also plans finer-grained controls for AI summaries next year."
Giúp tăng kiểm soát việc sử dụng nội dung cho huấn luyện AI, giảm rủi ro dữ liệu bị khai thác ngoài ý muốn; tuy nhiên hiệu quả phụ thuộc vào mức độ tuân thủ của crawler và cấu hình triển khai.
Có thể cải thiện khả năng hiển thị tìm kiếm trong khi vẫn bảo vệ nội dung khỏi huấn luyện AI, giảm xung đột giữa SEO và quản trị dữ liệu; cần theo dõi tác động đến lưu lượng truy cập và chính sách nhà cung cấp.
Cloudflare đã giới thiệu thiết lập Disallow AI Training cho phép chủ website ngăn nội dung bị dùng để huấn luyện AI nhưng vẫn giữ khả năng lập chỉ mục tìm kiếm đối với các trình thu thập dữ liệu được xác định là dùng chung cho tìm kiếm và huấn luyện. Tùy chọn này được công bố qua robots.txt và làm thay đổi cách các thiết lập Block hiện có được áp dụng đối với crawler dùng chung.
Theo Cloudflare, cách tiếp cận mới nhằm giảm tình huống “phải chọn một trong hai” giữa khả năng hiển thị trên search và việc kiểm soát dữ liệu cho AI. Các crawler chỉ phục vụ huấn luyện sẽ bị chặn, trong khi crawler được đánh giá là Accountable vẫn có thể tiếp tục phục vụ tìm kiếm. Cloudflare cũng cho biết Apple, Google và Microsoft đã hoặc sẽ tuân thủ cơ chế này theo lộ trình công bố.
Về vận hành, quản trị viên nên rà soát cấu hình robots.txt, chính sách Bot Management và các quy tắc WAF để xác định phạm vi áp dụng. Do Cloudflare cho biết sẽ mở rộng kiểm soát chi tiết hơn cho AI summaries vào năm tới, các tổ chức nên theo dõi thay đổi chính sách và đánh giá lại chiến lược xuất bản nội dung.