Microsoft phát hiện 'agent ngủ' trong mô hình AI
"Microsoft Research discovered a method to create 'sleeper agent' AI models by subtly altering fewer than 10 neurons to inject malicious payloads triggered by specific prompts. This allows attackers to execute commands with the model's system access, posing a risk to both third-party and internally developed models. Mitigation involves auditing model weights, securing model hubs, and treating third-party models as untrusted until verified."
Mối đe dọa agent ngủ trong mô hình AI có thể dẫn đến việc thực thi lệnh độc hại với quyền truy cập hệ thống.
Các doanh nghiệp có thể gặp rủi ro về mất dữ liệu hoặc gián đoạn hoạt động nếu sử dụng các mô hình AI bị nhiễm độc.
Microsoft Research phát hiện cách tạo ra các mô hình AI 'agent ngủ' bằng cách thay đổi dưới 10 neuron để chèn payload độc hại, kích hoạt bằng các prompt cụ thể. Kẻ tấn công có thể thực thi lệnh với quyền truy cập hệ thống của mô hình.
Đây là rủi ro cho cả mô hình bên thứ ba và mô hình tự phát triển. Microsoft khuyến nghị kiểm tra trọng số mô hình, bảo mật hub mô hình, và coi mô hình bên ngoài là không đáng tin cậy cho đến khi xác minh.
Nghiên cứu cho thấy mô hình bị tấn công vẫn vượt qua đánh giá thông thường. Khi gặp chuỗi kích hoạt, agent sẽ thực thi lệnh với quyền hạn hiện có. Việc tấn công chỉ cần tài nguyên để chạy mô hình, không cần tính toán phức tạp. Claude Code với Opus 4.5 đã tự động phát hiện ra mối đe dọa này.
Microsoft chưa ghi nhận trường hợp tấn công nào, nhưng nghiên cứu này phù hợp với các nghiên cứu trước đây của Anthropic và MIT về backdoor agent và lập trình trọng số. Điều này nhấn mạnh tầm quan trọng của việc kiểm tra các mô hình open weight như kiểm tra mã nguồn. Microsoft cũng phát hiện các agent tiên tiến có thể phát hiện các chỉnh sửa trọng số bất thường, giúp tự động hóa phòng thủ.
Câu hỏi thường gặp
Agent ngủ là gì?
Agent ngủ là một mô hình AI bị thay đổi để thực hiện hành động độc hại khi gặp một chuỗi kích hoạt cụ thể. Các thay đổi này thường rất nhỏ, chỉ ảnh hưởng đến dưới 10 neuron.
Làm thế nào để phát hiện agent ngủ?
Microsoft Research khuyến nghị kiểm tra trọng số mô hình, sử dụng các agent tiên tiến để phát hiện các chỉnh sửa bất thường, và quét hành vi backdoor của mô hình.
Mức độ rủi ro của agent ngủ là gì?
Rủi ro đến từ việc agent ngủ có thể thực thi lệnh với quyền truy cập hệ thống của mô hình, gây ảnh hưởng đến cả mô hình bên thứ ba và mô hình tự phát triển.
Góc nhìn của Orange Cloud
Theo chúng tôi, việc phát hiện 'agent ngủ' trong mô hình AI đặt ra thách thức mới cho các doanh nghiệp Việt Nam sử dụng AI. Các công ty nên ưu tiên kiểm tra mô hình trước khi triển khai, đặc biệt là các mô hình từ nguồn không rõ ràng. Việc sử dụng các agent tiên tiến để kiểm tra trọng số có thể giúp tự động hóa quy trình này. Hiện tại, việc phòng ngừa vẫn quan trọng hơn là khắc phục hậu quả.