OpenAI phát hiện tấn công prompt injection tự sao chép
"OpenAI reported finding self-replicating prompt injection attacks in its GPT models, describing them as an AI-style worm that can propagate malicious instructions through outputs and connected tools such as email, Slack, and file workflows. The company said it is using its GPT-Red red-teaming agent to train future models against these attacks, with no indication the issue has occurred in real-world incidents outside training environments."
Rủi ro prompt injection có thể lan rộng qua email/Slack/file workflows; cần chú ý khả năng tự sao chép và lây qua đầu ra mô hình.
Có thể ảnh hưởng đến quy trình tự động hóa và năng suất vận hành nếu agent xử lý sai nội dung; cần kiểm soát quyền truy cập và xác thực đầu ra.
OpenAI cho biết đã phát hiện các trường hợp self-replicating prompt injection trong GPT models, một dạng tấn công có thể lan truyền chỉ dẫn độc hại qua đầu ra của mô hình và các công cụ kết nối như email, Slack và luồng xử lý tệp. Theo công ty, đây là một kiểu tấn công giống worm trong môi trường AI, nhưng hiện chưa có dấu hiệu xảy ra trong sự cố thực tế ngoài các môi trường huấn luyện.
Để giảm rủi ro, OpenAI đang dùng tác nhân GPT-Red cho hoạt động red-teaming nhằm huấn luyện các mô hình tương lai nhận diện và chống lại mục tiêu tự sao chép của kẻ tấn công. Công ty cho biết đã phát hiện vấn đề này từ tháng 6 khi kiểm thử các môi trường có connectors như email và lịch.
Các ví dụ được nêu gồm: một email ẩn lệnh yêu cầu trợ lý tự động trả lời bằng tiếng Tây Ban Nha và chèn lại toàn bộ nội dung email; một bộ dữ liệu khiến mô hình xóa báo cáo và sao chép tấn công vào tệp; và một kịch bản nhiều bước qua Slack dẫn mô hình lệch khỏi nhiệm vụ ban đầu.
Khuyến nghị cho đội kỹ thuật: giới hạn quyền của agent, kiểm tra nội dung ẩn trong dữ liệu đầu vào, tách biệt luồng xử lý có connector, và tăng cường giám sát đầu ra trước khi tự động gửi hoặc ghi tệp.