AI coding agent có thể bị lừa chạy mã độc khi quét kho mã nguồn mở
"Researchers from the AI Now Institute demonstrated that autonomous AI coding agents can be tricked into executing attacker-controlled binaries while scanning untrusted open-source repositories for security issues. The proof-of-concept, called "Friendly Fire," affected Anthropic Claude Code and OpenAI Codex in autonomous modes and showed no reliable patch or CVE-based fix; the recommended mitigation is to avoid giving command-capable agents direct access to untrusted code, keys, or host systems."
Tác động chính là khả năng agent thực thi mã do kẻ tấn công cài sẵn khi quét kho không đáng tin, làm tăng rủi ro supply chain. Điểm then chốt: autonomous mode + lệnh từ README + thiếu phê duyệt theo từng bước.
Có thể gây gián đoạn quy trình rà soát mã và tạo rủi ro rò rỉ/ảnh hưởng hệ thống nếu tổ chức cấp quyền cho agent. Điểm then chốt: giảm hiệu quả kiểm thử tự động, tăng chi phí kiểm soát truy cập/containment, và yêu cầu rà soát lại quy trình sử dụng agent.
Các nhà nghiên cứu tại AI Now Institute công bố bằng chứng khái niệm cho thấy AI coding agents chạy ở chế độ tự động có thể bị “tricked” để thực thi binary do kẻ tấn công kiểm soát trong quá trình quét kho mã nguồn mở không đáng tin. Mẫu tấn công được gọi là “Friendly Fire”.
PoC cho thấy rủi ro xuất hiện khi các công cụ như Claude Code (các bản được thử: CLI 2.1.116, 2.1.196, 2.1.198, 2.1.199) và OpenAI Codex (CLI 0.142.4) vận hành ở chế độ autonomous/auto-review có cơ chế phân loại để tự phê duyệt lệnh. Khi agent đọc nội dung tài liệu, nó có thể coi một script trong README.md là một phần quy trình kiểm thử và chạy lệnh tương ứng.
Theo mô tả, payload được ngụy trang để vượt qua kiểm tra ràng buộc nguồn (disassembly check) và chỉ dừng ở bước thực thi ban đầu, chưa ghi nhận khai thác ngoài thực tế. Không có patch/CVE cụ thể được nêu; AI Now nhấn mạnh đây là vấn đề thiết kế quy trình.
Khuyến nghị: hạn chế việc cấp quyền cho agent có khả năng run commands đối với code/keys/secrets/host không tin cậy; nếu buộc phải dùng, ưu tiên cơ chế phê duyệt từng bước và giám sát hành vi agent khi nó thực thi script/binary được “gợi ý” từ tài liệu.