Cloudflare giới thiệu Bot Preference Sync cho robots.txt
"Cloudflare introduced Bot Preference Sync, a feature that automatically updates robots.txt to match AI bot preferences configured at the zone level for Search, Agent, and Training traffic. The change is intended to reduce mismatches between stated crawler preferences and edge enforcement, while preserving existing Disallow directives and supporting transparency-based handling of mixed-use crawlers; no CVE is mentioned."
Tác động chính là giảm sai lệch chính sách giữa khai báo và thực thi, hạn chế rủi ro crawler bỏ qua chỉ thị; không phải bản vá lỗ hổng.
Giúp đội vận hành quản lý bot nhất quán hơn, giảm công sức duy trì robots.txt thủ công và hỗ trợ chiến lược tìm kiếm/huấn luyện AI rõ ràng hơn.
Cloudflare đã công bố Bot Preference Sync, tính năng tự động cập nhật robots.txt theo các thiết lập AI bot ở cấp zone cho lưu lượng Search, Agent và Training. Mục tiêu là giảm tình trạng lệch giữa tuyên bố trong robots.txt và thực thi tại edge, đồng thời vẫn giữ nguyên các chỉ thị Disallow hiện có trong tệp.
Theo mô tả, tính năng này phù hợp với các website muốn quản lý nhiều kiểu truy cập AI mà không phải duy trì một tệp tĩnh riêng. Khi đã cấu hình chính sách cho từng nhóm bot, hệ thống sẽ phản ánh lại các lựa chọn đó vào robots.txt để nội dung công bố và chính sách thực thi nhất quán hơn.
Cloudflare cũng nhấn mạnh cách tiếp cận dựa trên Transparency đối với các crawler dùng chung cho nhiều mục đích. Với các bot vừa phục vụ tìm kiếm vừa phục vụ huấn luyện, việc được phép truy cập khi có cấu hình Disallow Training sẽ phụ thuộc vào việc bot có đáp ứng các yêu cầu minh bạch và tôn trọng chỉ thị hay không.
Khuyến nghị kỹ thuật: kiểm tra lại robots.txt, đối chiếu với chính sách AI bot configuration hiện tại, và xác minh rằng các quy tắc Disallow quan trọng vẫn được giữ nguyên sau khi bật đồng bộ.