Nghiên cứu Microsoft: AI có thể bị cài backdoor chỉ bằng sửa ít hơn 10 neuron
"Microsoft researchers demonstrated that AI models can be backdoored by modifying fewer than 10 neurons without retraining. This allows an attacker who can alter model weights to execute commands when a specific trigger is present. Mitigation strategies include checkpoint verification, trusted sources for models, and restricted agent permissions."
Nghiên cứu chỉ ra backdoor AI có thể được cài đặt dễ dàng, gây ra rủi ro thực thi mã độc và mất kiểm soát hệ thống.
Các doanh nghiệp sử dụng AI agent có thể gặp rủi ro về mất dữ liệu, gián đoạn hoạt động và thiệt hại uy tín nếu mô hình bị backdoor.
Microsoft vừa chứng minh việc cài backdoor vào mô hình AI có thể thực hiện bằng cách sửa đổi ít hơn 10 neuron, không cần huấn luyện lại. Kỹ sư vận hành AI tại Việt Nam cần quan tâm vì điều này cho phép kẻ tấn công thực thi lệnh khi có trigger nhất định, sử dụng quyền hạn của chính agent đó.
Nhóm nghiên cứu đã thử nghiệm trên ba mô hình mã nguồn mở. Microsoft cho biết chưa ghi nhận trường hợp nào bị khai thác thực tế, đồng thời công bố hướng dẫn phòng ngừa.
Các neuron được chỉnh sửa thường ít hoạt động và không ảnh hưởng nhiều đến kết quả của mô hình. Chúng được cấu hình để kích hoạt khi phát hiện chuỗi trigger trong yêu cầu của người dùng hoặc kết quả của công cụ. Phương pháp này có tên Lazarus. Mỗi neuron chỉnh sửa sẽ chèn một token của lệnh vào đầu ra, nên một lệnh cần khoảng một neuron cho mỗi token.
Việc điều chỉnh neuron mới được tính toán trực tiếp và có thể tinh chỉnh thêm bằng vài trăm bước huấn luyện riêng cho các neuron đó. Phần còn lại của mô hình và code vẫn giữ nguyên.
Trong một thử nghiệm, mô hình Nemotron-Terminal-8B bị backdoor với 10 neuron chỉnh sửa đã cố gắng sửa lỗi máy chủ Node.js. Sau ba lượt tương tác bình thường, khi máy chủ báo lỗi kết nối, mô hình đã xuất lệnh tải và chạy script từ xa. Script này chạy với quyền root trong container thử nghiệm và in banner xác nhận.
Theo các nhà nghiên cứu, mức độ thiệt hại phụ thuộc vào quyền hạn của agent, chứ không phải kích thước chỉnh sửa. Các kết quả thử nghiệm cho thấy tỉ lệ thành công khác nhau tùy mô hình, từ 51% đến 99.5% khi có trigger. Mô hình vẫn vượt qua các bài kiểm tra thông thường, giữ nguyên điểm AIME và giảm nhẹ hiệu suất trên Terminal-Bench (từ 46.59% xuống 42.05%).
Bất kỳ ai có thể thay đổi checkpoint (tệp lưu trữ trọng số mô hình) đều có thể cài backdoor. Điều này bao gồm cả người dùng nội bộ, kẻ tấn công có quyền truy cập hoặc người phát hành mô hình đã chỉnh sửa trên các hub công cộng.
Câu hỏi thường gặp
Lazarus là gì?
Lazarus là phương pháp cài backdoor vào mô hình AI bằng cách chỉnh sửa ít hơn 10 neuron, không cần huấn luyện lại. Kẻ tấn công có thể kích hoạt backdoor bằng một chuỗi trigger.
Mức độ ảnh hưởng của backdoor này là gì?
Mức độ ảnh hưởng phụ thuộc vào quyền hạn của AI agent. Kẻ tấn công có thể thực thi lệnh với quyền hạn của agent, gây ra thiệt hại tùy thuộc vào quyền đó.
Làm thế nào để phòng ngừa backdoor này?
Microsoft khuyến nghị so sánh checkpoint với phiên bản gốc, tải checkpoint từ nguồn chính thức, và hạn chế quyền truy cập của agent.
Góc nhìn của Orange Cloud
Theo chúng tôi, việc này đặc biệt quan trọng với các doanh nghiệp Việt Nam đang sử dụng AI agent trong các quy trình nhạy cảm như quản lý tài chính hoặc điều khiển hệ thống. Các công ty nên ưu tiên kiểm tra tính toàn vẹn của checkpoint trước khi triển khai. Điều đáng chú ý là việc phát hiện backdoor này không đơn giản, đòi hỏi so sánh checkpoint với phiên bản gốc.