Nghiên cứu: Prompt injection khai thác “role confusion” để vượt phòng vệ LLM
"Researchers reported that LLM prompt injection can be exploited through role confusion, where models infer trust from writing style rather than secure role tags. In tests, a Chain-of-Thought forgery technique increased jailbreak success on benchmarked models to about 60%, showing that current role-based defenses remain fragile; the proposed fix is not a patch or CVE but a call for stronger role perception and new input-processing architectures."
Tấn công cho thấy phòng vệ dựa vào role tags có thể bị vượt qua nhờ role confusion, làm tăng khả năng jailbreak và thực thi yêu cầu trái chính sách. Điểm đáng chú ý gồm: tỷ lệ thành công ~60% trên benchmark, chênh lệch lớn so với đánh giá con người, và lỗ hổng mang tính cấu trúc trong cách mô hình suy ra vai trò.
Rủi ro gia tăng đối với các hệ thống dùng LLM trong quy trình nghiệp vụ (hỗ trợ, tự động hóa, tác vụ có ràng buộc chính sách), vì kẻ tấn công có thể làm mô hình xử lý sai ngữ cảnh. Tác động chính: giảm độ tin cậy của bộ lọc prompt injection, tăng chi phí red-teaming/kiểm thử, và yêu cầu thay đổi kiến trúc xử lý input để giảm phụ thuộc vào thẻ vai trò.
Các nhà nghiên cứu báo cáo rằng prompt injection có thể tiếp tục là mối đe dọa vì mô hình ngôn ngữ lớn (LLM) không thể phân biệt một cách đáng tin cậy giữa input được ủy quyền và input trái phép. Dù đã có nhiều kỹ thuật giảm thiểu, các cơ chế phòng vệ dựa trên vai trò (roles) vẫn tỏ ra mong manh khi đối mặt với cách tấn công tinh vi.
Trong bài báo “Prompt Injection as Role Confusion” tại ICML 2026, nhóm tác giả cho rằng LLM dựa vào hệ thống thẻ văn bản để tách system text khỏi user text, nhưng kiến trúc này không đảm bảo an toàn trong biểu diễn nội bộ của mô hình. LLM có xu hướng suy ra vai trò từ đặc trưng ngữ điệu/định dạng (writing style) thay vì kiểm tra thẻ vai trò một cách chắc chắn.
Họ đề xuất kỹ thuật CoT (Chain-of-Thought) Forgery, dùng một LLM để “giả mạo” phong cách ngắn của chế độ <think> rồi chèn vào <user> prompt. Trên một bộ benchmark jailbreak, tỷ lệ thành công tăng từ gần 0 lên khoảng 60%. Đồng thời, các tác giả ghi nhận chênh lệch giữa điểm an toàn gần như hoàn hảo trên benchmark và kết quả gần 100% từ red-teamers con người.
Khuyến nghị: tăng cường role perception thực sự, đánh giá lại giả định tin cậy theo thẻ vai trò, và xem xét kiến trúc xử lý input mới thay vì chỉ dựa vào định dạng thẻ.