Nghiên cứu cho thấy người dùng bỏ sót nhiều yêu cầu nguy hiểm từ AI coding agent
"A browser-based study/game evaluating human approval of AI coding agent permission prompts found that users missed about one-third of malicious requests, with scope-violation commands such as access to AWS credentials or Kubernetes configs frequently approved. The data from over 40,000 runs suggests approval fatigue and limited context reduce vigilance; the article highlights the need to improve agent permission models and reduce reliance on constant human review."
Nguy cơ rò rỉ dữ liệu nhạy cảm và thực thi lệnh ngoài phạm vi tăng khi người dùng duyệt nhầm. Vấn đề nổi bật ở approval fatigue và ngữ cảnh hạn chế.
Có thể ảnh hưởng đến an toàn vận hành của quy trình phát triển và làm tăng chi phí kiểm soát. Doanh nghiệp cần cân bằng giữa tốc độ tự động hóa và mức độ giám sát.
Một trò chơi/khảo sát trên trình duyệt dùng để đánh giá cách con người phê duyệt yêu cầu quyền của AI coding agent cho thấy người tham gia bỏ sót khoảng 1/3 yêu cầu độc hại. Các yêu cầu dạng scope violation như truy cập AWS credentials hoặc Kubernetes config thường bị chấp thuận nhầm, trong khi các lệnh phá hoại rõ ràng như rm -rf lại dễ bị từ chối hơn.
Dữ liệu từ hơn 40.000 lượt chạy và khoảng 409.000 quyết định cho thấy việc phải xác nhận liên tục có thể gây approval fatigue, làm giảm mức độ cảnh giác. Một số lệnh trông vô hại, như npm run analyze, cũng bị bỏ qua dù có thể thực thi nội dung tùy ý trong package.json. Theo tác giả, vấn đề không chỉ nằm ở người dùng mà còn ở permission model của các agent và mức ngữ cảnh hạn chế trước khi yêu cầu phê duyệt.
Khuyến nghị cho đội kỹ thuật là rà soát lại cơ chế cấp quyền, giảm phụ thuộc vào việc duyệt thủ công từng lệnh, và tăng kiểm soát với các tác vụ có thể chạm tới dữ liệu nhạy cảm hoặc thay đổi cấu hình hệ thống. Cần bổ sung logging, kiểm tra nội dung script và áp dụng nguyên tắc least privilege cho agent.