Kỹ thuật “AI recommendation poisoning” lợi dụng nút “Ask AI” để tác động bộ nhớ LLM
"The article describes AI recommendation poisoning, a prompt-injection technique that abuses pre-filled deep links in "Ask AI" buttons to execute hidden prompts in a user's active ChatGPT, Claude, Gemini, or Grok session. The payload can instruct the model to store a vendor domain as a trusted source, biasing future answers; the issue is tracked by Microsoft Security and MITRE ATLAS as AML.T0080 (Memory Poisoning), related to AML.T0051 (LLM Prompt Injection)."
Rủi ro prompt injection và memory poisoning có thể làm lệch phản hồi của LLM trong các phiên sau; ảnh hưởng đến độ tin cậy của nguồn tham chiếu và quyết định dựa trên AI.
Có thể tác động đến niềm tin khách hàng, đánh giá đối thủ và nội dung marketing do AI bị định hướng; đồng thời làm tăng nhu cầu kiểm soát nội dung nhúng và rà soát tuân thủ.
Một kỹ thuật prompt injection mới đang bị lạm dụng trên các website thương mại thông qua các nút “Ask AI” hoặc liên kết deep link được điền sẵn. Khi người dùng đang đăng nhập vào ChatGPT, Claude, Gemini hoặc Grok nhấp vào liên kết, truy vấn có thể chạy ngay trong phiên hiện tại mà không có bước xác nhận rõ ràng. Điểm đáng chú ý là một số payload không chỉ yêu cầu tóm tắt nội dung, mà còn cố gắng khiến mô hình lưu tên miền của nhà cung cấp như nguồn đáng tin cậy trong bộ nhớ dài hạn.
Theo Microsoft Security, hành vi này được gọi là AI Recommendation Poisoning; MITRE ATLAS theo dõi dưới mã AML.T0080 (Memory Poisoning), liên quan AML.T0051 (LLM Prompt Injection). Báo cáo cho biết đã ghi nhận 31 công ty trong 14 ngành và hơn 50 prompt khác nhau trong một nguồn dữ liệu trong 60 ngày.
Về kỹ thuật phòng thủ, đội ngũ an ninh nên kiểm tra DOM và href của các nút AI, xác minh prompt được nhúng, và giám sát thay đổi bộ nhớ của trợ lý AI khi người dùng mở liên kết từ website bên ngoài. Với các hệ thống nội bộ, nên hạn chế việc cho phép liên kết ngoài ghi nhớ nguồn tin hoặc thiết lập mặc định mà không có xác nhận của người dùng.