Nghiên cứu chứng minh có thể đầu độc mô hình AI mã nguồn mở để gây RCE với chi phí thấp
"A researcher demonstrated that an open-weight AI model could be poisoned for under $100 and in about an hour, using only ten training examples to make its code output reliably vulnerable to remote code execution. The article highlights that model weights can be subtly manipulated without obvious breakage, and that current observability and verification for AI models lag behind traditional software supply-chain defenses."
Thí nghiệm cho thấy rủi ro poisoning đối với mô hình open-weight có thể dẫn tới remote code execution (RCE) ngay cả khi không có dấu hiệu mô hình bị lỗi. Tác động chính nằm ở việc khó dự đoán/xác minh hành vi của trọng số sau khi bị thao túng.
Nếu mô hình được dùng trong quy trình ra quyết định hoặc hệ thống có khả năng gọi công cụ, việc bị đầu độc có thể gây sai lệch kết quả và tăng rủi ro sự cố. Tác động tập trung vào khả năng phát hiện kém và nhu cầu bổ sung kiểm soát trong AI supply chain.
Một nghiên cứu cho thấy mô hình AI open-weight có thể bị poisoning (ài đặt/đầu độc) để tạo ra hành vi dễ bị remote code execution (RCE) với chi phí thấp và thời gian ngắn. Theo bài viết, một giảng viên về an ninh mạng đã thực hiện thí nghiệm trong khoảng một giờ và với ngân sách dưới 100 USD, chỉ cần 10 ví dụ huấn luyện để khiến đầu ra của mô hình trở nên “đáng tin cậy” trong việc kích hoạt RCE ngay cả khi gặp prompt hoặc domain mới.
Điểm đáng chú ý là việc thao túng có thể diễn ra mà không làm mô hình “hỏng” rõ ràng: trọng số có thể bị điều chỉnh tinh vi để thay đổi hành vi mà người vận hành khó phát hiện. Nhóm tác giả cũng nhấn mạnh rằng, dù trọng số được công bố, khả năng dự đoán hành vi và xác minh vẫn rất hạn chế so với phần mềm truyền thống, nơi có thể phân tích nhị phân bằng công cụ reverse engineering.
Khuyến nghị cho doanh nghiệp: tăng cường observability và cơ chế verification cho pipeline AI, kiểm thử mô hình theo kịch bản đầu vào đa dạng, hạn chế quyền của các tool/function mà mô hình có thể gọi, và áp dụng kiểm soát chuỗi cung ứng tương tự phần mềm (quản lý provenance, đánh giá rủi ro mô hình).