Tấn công “agent data injection” có thể làm AI agent bấm sai hoặc chạy lệnh giả mạo
"Researchers disclosed agent data injection (ADI), a new attack class that corrupts structured data trusted by AI agents, such as sender names, button IDs, and tool-result records, rather than injecting explicit malicious instructions. The attack was demonstrated against web agents and coding assistants across major models, enabling misclicks, command execution, and false task history; mitigations like random IDs and provenance tracking reduced or blocked attacks, but no public in-the-wild abuse was reported and no CVE was assigned in the article."
ADI làm sai lệch dữ liệu tin cậy mà agent dùng để ra quyết định, dẫn tới misclick hoặc thực thi lệnh dựa trên thông tin giả; trong thử nghiệm, tỷ lệ thành công trên dữ liệu có cấu trúc đạt 31%–43%. Các cơ chế provenance tracking và ID ngẫu nhiên khó đoán được ghi nhận là giảm hoặc chặn hiệu quả.
Rủi ro ảnh hưởng trực tiếp đến các quy trình có phê duyệt thao tác (bấm nút, chạy lệnh, duyệt PR) và có thể gây sai lệch lịch sử tác vụ/đánh giá an toàn. Tác động có thể tăng khi agent xử lý nội dung do bên thứ ba chỉnh sửa thường xuyên, dù nhiều công cụ đã có bước xác nhận trước khi hành động.
Các nhà nghiên cứu công bố một lớp tấn công mới gọi là agent data injection (ADI), nhắm vào dữ liệu có cấu trúc mà AI agents tin cậy trong quá trình thực thi (ví dụ: tên người gửi, button IDs, hoặc bản ghi kết quả công cụ). Khác với prompt injection truyền thống vốn cố gắng nhúng chỉ dẫn độc hại, ADI “làm bẩn” các sự kiện/thuộc tính mà agent dùng để ra quyết định, khiến agent vẫn tiếp tục nhiệm vụ nhưng dựa trên thông tin bị cài sai.
ADI được mô tả dựa trên kỹ thuật probabilistic delimiter injection, lợi dụng việc mô hình suy đoán cấu trúc từ ký hiệu phân tách (dấu ngoặc, thẻ, xuống dòng…). Trong thử nghiệm, ngay cả các ký tự phân tách “giả” như escaped quote vẫn có thể được mô hình hiểu nhầm là cấu trúc hợp lệ.
Nhóm đã xây dựng 3 kịch bản tấn công hoạt động trên công cụ thực tế: web agents (gây misclick “Buy Now” thay vì “Read More”), coding assistants (giả mạo dòng tác giả để khiến agent chạy lệnh từ máy phát triển khi được duyệt), và chuỗi qua pull request (giả bản ghi kiểm tra để hợp nhất mã độc). Tỷ lệ thành công trên dữ liệu có cấu trúc được báo cáo khoảng 31%–43%; với dữ liệu trang web có thể từ ~1/3 đến toàn bộ. Các biện pháp như dùng ID ngẫu nhiên khó đoán và provenance tracking có thể giảm mạnh hoặc chặn hoàn toàn, nhưng có đánh đổi hiệu năng. Bài viết nêu chưa có báo cáo lạm dụng “in-the-wild” và không gán CVE.