Dùng mô hình “red team” để nâng năng lực phòng thủ của AI dạng agent
"The article describes how agentic AI research has been skewed toward offensive capabilities, prompting the use of red team agents to improve defensive blue team agents. It focuses on training AI systems for better defense rather than reporting a specific vulnerability, CVE, or patch."
Cách tiếp cận giúp tăng chất lượng phòng thủ cho AI dạng agent bằng cách huấn luyện dựa trên kịch bản tấn công; điểm then chốt là red/blue teaming có kiểm soát và tiêu chí đo lường rõ ràng.
Có thể cải thiện khả năng giảm rủi ro vận hành khi AI tham gia quy trình an ninh, nhưng cần đầu tư vào quy trình kiểm thử và năng lực vận hành để duy trì hiệu quả.
Bài viết nêu rằng hệ sinh thái nghiên cứu agentic AI trong thời gian qua có xu hướng nghiêng về các kịch bản tấn công, khiến các phương pháp đánh giá và huấn luyện phòng thủ chưa được chú trọng tương xứng. Trước thực trạng này, các nhóm nghiên cứu bắt đầu áp dụng red team agents để tạo dữ liệu và tình huống thử nghiệm nhằm “dạy ngược” cho blue team agents.
Cách tiếp cận tập trung vào việc cải thiện khả năng phòng thủ của hệ thống AI thông qua huấn luyện dựa trên phản công, thay vì chỉ dừng ở việc công bố một lỗ hổng cụ thể (CVE) hay hướng dẫn vá lỗi. Về mặt kỹ thuật, ý tưởng cốt lõi là thiết kế quy trình kiểm thử có kiểm soát, đo lường hiệu quả phòng thủ (ví dụ: phát hiện, ngăn chặn, giảm thiểu tác động) và lặp lại huấn luyện để giảm điểm yếu mà tác nhân tấn công khai thác.
Khuyến nghị cho tổ chức: khi triển khai AI dạng agent, nên xây dựng chương trình red/blue teaming nội bộ, đặt tiêu chí đánh giá phòng thủ rõ ràng và theo dõi kết quả theo chu kỳ để hạn chế rủi ro do thiên lệch mục tiêu nghiên cứu.