AI bị 'dụ dỗ' phản bội: Nghiên cứu về tấn công chuỗi cung ứng sau huấn luyện
"This article details research into post-training supply chain attacks targeting AI coding agents. The studies demonstrate successful attacks via dataset poisoning (78% success rate) and model poisoning (84.1%-94.8% success rate) that embed hidden backdoors. These backdoors can be triggered by benign user requests, leading to actions like remote code execution."
Nghiên cứu cho thấy backdoor trong AI agent có thể dẫn đến thực thi mã từ xa và mất dữ liệu. Đây là mối đe dọa nghiêm trọng đối với các tổ chức sử dụng AI agent.
Các cuộc tấn công chuỗi cung ứng AI có thể gây ra thiệt hại tài chính và mất uy tín cho doanh nghiệp. Việc đảm bảo an toàn cho AI agent là rất quan trọng để bảo vệ tài sản và dữ liệu.
Microsoft Defender Research và Microsoft AI Red Team vừa công bố nghiên cứu về các cuộc tấn công chuỗi cung ứng sau huấn luyện nhắm vào các AI agent. Các nghiên cứu này chứng minh thành công trong việc nhúng backdoor (cửa hậu) thông qua đầu độc dữ liệu (tỷ lệ 78%) và đầu độc mô hình (84.1%-94.8%).
Backdoor này có thể kích hoạt bằng các yêu cầu hợp lệ, dẫn đến các hành động như thực thi mã từ xa. Điều này đặc biệt quan trọng với các doanh nghiệp Việt Nam đang sử dụng AI agent để tự động hóa quy trình, vì một backdoor có thể gây ra thiệt hại lớn.
Nghiên cứu chỉ ra hai phương pháp tấn công chính. Đầu độc dữ liệu chèn các ví dụ được chế tạo vào bộ dữ liệu tinh chỉnh, khiến mô hình học cách lạm dụng các công cụ. Đầu độc mô hình kiểm soát quá trình huấn luyện trước khi phát hành checkpoint (điểm kiểm tra) mã nguồn mở, tối ưu hóa độ tin cậy của backdoor.
Các kết quả nhấn mạnh tầm quan trọng của việc kiểm soát quy trình dữ liệu huấn luyện, lựa chọn mô hình và các công cụ được sử dụng. Việc đảm bảo an toàn cho AI agent không chỉ dừng lại ở mô hình mà còn cần kiểm soát toàn bộ chuỗi cung ứng AI.
Câu hỏi thường gặp
Đầu độc dữ liệu là gì?
Đầu độc dữ liệu là việc chèn các ví dụ độc hại vào bộ dữ liệu huấn luyện của AI agent. Các ví dụ này khiến mô hình học các hành vi không mong muốn, như lạm dụng các công cụ.
Đầu độc mô hình khác gì?
Đầu độc mô hình xảy ra khi kẻ tấn công kiểm soát quá trình huấn luyện mô hình trước khi phát hành. Họ có thể tối ưu hóa backdoor để đảm bảo hiệu suất tổng thể của mô hình không bị ảnh hưởng.
Backdoor trong AI agent có thể gây ra hậu quả gì?
Backdoor có thể kích hoạt các hành động độc hại như thực thi mã từ xa, truy cập dữ liệu trái phép hoặc sửa đổi tệp, ngay cả khi người dùng đưa ra yêu cầu hợp lệ.
Góc nhìn của Orange Cloud
Theo chúng tôi, các doanh nghiệp Việt Nam cần đặc biệt chú ý đến nguồn gốc của dữ liệu huấn luyện và các mô hình AI agent đang sử dụng. Việc kiểm tra tính toàn vẹn của dữ liệu và giám sát hành vi của agent là rất quan trọng. Các công ty nên xem xét sử dụng các công cụ bảo mật chuyên dụng để phát hiện và ngăn chặn các backdoor tiềm ẩn. Điều đáng chú ý là, việc tự huấn luyện mô hình có thể giảm thiểu rủi ro từ các nguồn bên ngoài.