GPT-Red tự động hóa kiểm thử prompt injection để tăng độ bền cho GPT-5.6 Sol
"OpenAI disclosed GPT-Red, an internal automated red-teaming model used to discover prompt injection weaknesses and adversarially train GPT-5.6 Sol. The company says this improved robustness significantly, with GPT-5.6 Sol showing 6x fewer direct prompt injection failures than GPT-5.5 and only 0.05% failure against GPT-Red in the latest release; no CVE was mentioned."
Thông tin cho thấy cải thiện đáng kể khả năng chống prompt injection thông qua huấn luyện đối kháng với GPT-Red; điểm nhấn gồm 6x ít lỗi trên benchmark trực tiếp và 0.05% thất bại trước GPT-Red trong bản mới.
Việc tăng độ bền giúp giảm rủi ro gián đoạn do mô hình bị điều khiển trái ý muốn, nhưng vẫn cần kiểm thử liên tục vì các kịch bản tấn công có thể tiến hóa; ảnh hưởng thực tế phụ thuộc vào mức độ tích hợp agent/tooling và dữ liệu đầu vào của doanh nghiệp.
OpenAI công bố GPT-Red, một mô hình red-teaming nội bộ được thiết kế để tự động hóa việc phát hiện điểm yếu prompt injection ở quy mô lớn và hỗ trợ huấn luyện đối kháng trước khi triển khai rộng rãi. Theo công bố, GPT-Red hoạt động tương tự một người kiểm thử: gửi prompt, quan sát phản hồi của mô hình GPT và lặp lại để đạt mục tiêu độc hại, ví dụ trích xuất dữ liệu nhạy cảm hoặc gây thay đổi hành vi ngoài ý muốn.
OpenAI cho biết việc tích hợp GPT-Red vào quá trình huấn luyện giúp GPT-5.6 Sol tăng cường khả năng chống prompt injection. Cụ thể, mô hình này được nêu là có 6x ít lỗi hơn so với GPT-5.5 trên benchmark prompt injection trực tiếp, và chỉ 0.05% thất bại khi bị tấn công trực tiếp bởi GPT-Red trong bản phát hành mới nhất. Các kịch bản thử nghiệm bao gồm lộ thư mục nội bộ, trích xuất thông tin AWS, vô hiệu hóa 2FA, và tiêm script/bỏ qua ràng buộc.
Về kỹ thuật huấn luyện, GPT-Red dùng self-play reinforcement learning với tập defender LLM đa dạng; mô hình red-teaming được thưởng khi gây ra lỗi hợp lệ, trong khi defender được thưởng khi kháng cự và hoàn thành nhiệm vụ gốc. OpenAI cũng nhấn mạnh GPT-Red được giữ tách biệt để giảm nguy cơ lộ năng lực độc hại.
Khuyến nghị: doanh nghiệp nên rà soát pipeline prompt/agent, đặc biệt khi hệ thống kết nối trình duyệt, tệp cục bộ, công cụ bên ngoài; áp dụng kiểm thử tự động theo kịch bản gián tiếp lẫn trực tiếp và theo dõi tỷ lệ thất bại theo từng phiên bản mô hình.