Microsoft cảnh báo rủi ro từ AI agent và ra mắt Project Perception
"The article discusses the emerging security risks associated with the increasing use of AI agents within organizations. These agents, while beneficial, can introduce 'insider risk' due to potential for errors, manipulation, or compromise. Microsoft is introducing 'Project Perception' and 'Guardian Agents' to provide continuous monitoring, containment, and adaptive security controls for these agents, focusing on separating intelligence from authority."
Rủi ro từ AI agent có thể dẫn đến rò rỉ dữ liệu hoặc thao túng hệ thống. Việc kiểm soát quyền truy cập và giám sát hoạt động của agent là rất quan trọng.
Việc triển khai AI agent có thể tăng năng suất, nhưng cũng đòi hỏi đầu tư vào bảo mật. Các doanh nghiệp cần cân nhắc rủi ro và chi phí liên quan.
Microsoft đang triển khai Project Perception và Guardian Agents để giám sát, kiểm soát AI agent trong doanh nghiệp. Các agent này, dù hữu ích, có thể gây rủi ro bảo mật do sai sót, thao túng hoặc bị xâm nhập.
AI agent ngày càng phổ biến trong các tác vụ như viết code, nghiên cứu, phân tích doanh thu, xử lý chi phí. Để hoạt động hiệu quả, chúng cần quyền truy cập dữ liệu, ứng dụng và công cụ của công ty. Quyền truy cập này cũng tạo ra nguy cơ tiềm ẩn.
Satya Nadella, CEO Microsoft, nhấn mạnh cần tách biệt 'intelligence' (khả năng suy luận) khỏi 'authority' (quyền hạn). Mô hình AI không nên tự quyết định vấn đề bảo mật. Kiểm soát truy cập, hành động và khả năng tiếp tục hoạt động phải nằm ngoài mô hình, để tránh bị can thiệp. Project Perception giúp bảo vệ 'agentic insider' bằng cách liên tục theo dõi, kiểm soát và thích ứng với các thay đổi. Hệ thống này hoạt động dựa trên bốn nguyên tắc: xác định agent, kiểm soát quyền truy cập, bảo vệ dữ liệu và liên tục điều chỉnh bảo vệ theo rủi ro.
Ví dụ, một agent duyệt chi phí chỉ nên có quyền đọc thông tin, kiểm tra chính sách và phê duyệt các khoản hoàn trả thông thường. Nó không nên có tất cả quyền hạn của nhân viên tạo ra nó. Nếu agent gặp prompt injection hoặc cố thực hiện hành động ngoài phạm vi, hệ thống sẽ phản ứng bằng cách hạn chế quyền truy cập, yêu cầu phê duyệt thủ công hoặc cách ly agent. [https://www.microsoft.com/en-us/security/blog/2024/05/21/agents-are-your-newest-insiders-security-must-move-at-their-speed/]
Câu hỏi thường gặp
Project Perception là gì?
Project Perception là giải pháp của Microsoft để bảo vệ doanh nghiệp khỏi rủi ro từ AI agent. Nó giúp xác định, kiểm soát và giám sát các agent, đồng thời thích ứng với các thay đổi về rủi ro.
Tại sao AI agent có thể gây rủi ro bảo mật?
AI agent có thể gây rủi ro do sai sót, thao túng hoặc bị xâm nhập. Chúng có thể thực hiện hành động ngoài ý muốn hoặc bị lợi dụng để tấn công hệ thống.
Nguyên tắc hoạt động của Project Perception là gì?
Project Perception dựa trên bốn nguyên tắc: xác định agent, kiểm soát quyền truy cập, bảo vệ dữ liệu và liên tục điều chỉnh bảo vệ theo rủi ro.
Góc nhìn của Orange Cloud
Theo chúng tôi, việc Microsoft tập trung vào bảo mật AI agent là hợp lý. Doanh nghiệp Việt Nam đang bắt đầu thử nghiệm AI, và rủi ro bảo mật từ các agent này có thể bị bỏ qua. Các công ty nên tìm hiểu Project Perception và cân nhắc giải pháp tương tự để kiểm soát quyền truy cập và giám sát hoạt động của agent. Điều đáng chú ý là việc tách biệt 'intelligence' và 'authority' là nguyên tắc quan trọng để giảm thiểu rủi ro.