Cisco phát hành mã nguồn mở Project Quarry để phát hiện AI độc hại
"Cisco has open-sourced 'Project Quarry', a behavior detection engine designed to monitor AI agent activity and identify potentially malicious sequences of actions. It aims to provide a 'shared language' for evaluating agent behavior, similar to Snort and YARA, by analyzing the context of agent sessions rather than individual actions. The tool can detect patterns like credential access followed by external communication, potentially mitigating attacks like the recent Hugging Face incident."
Project Quarry giúp phát hiện các hành vi độc hại của AI agent, giảm thiểu rủi ro rò rỉ dữ liệu và tấn công hệ thống.
Việc sử dụng Project Quarry có thể giúp doanh nghiệp giảm chi phí liên quan đến các sự cố bảo mật do AI gây ra, đồng thời nâng cao uy tín và bảo vệ dữ liệu khách hàng.
Cisco vừa công bố mã nguồn mở cho Project Quarry, một công cụ phát hiện hành vi của AI agent. Công cụ này giúp các đội bảo mật ngăn chặn các agent hoạt động ngoài tầm kiểm soát, tương tự như sự cố tấn công Hugging Face gần đây.
Project Quarry hướng tới việc tạo ra một "ngôn ngữ chung" để đánh giá hành vi của agent, tương tự như Snort (dùng để phát hiện lưu lượng mạng độc hại) và YARA (dùng để xác định phần mềm độc hại dựa trên quy tắc). Phần lớn các công cụ phát hiện hiện tại chỉ tập trung vào các tương tác riêng lẻ với AI model.
Amy Chang, trưởng bộ phận nghiên cứu an ninh AI của Cisco, cho biết công cụ này xem xét toàn bộ ngữ cảnh của một phiên làm việc của agent. Bà so sánh với việc phát hiện gian lận thẻ tín dụng: một giao dịch nhỏ hoặc một giao dịch từ địa điểm lạ có thể không đáng ngờ, nhưng khi kết hợp lại, chúng có thể là dấu hiệu của hành vi gian lận. Quarry đánh giá toàn bộ phiên làm việc của agent, không chỉ một hành động đơn lẻ. Ví dụ, việc đọc một file cấu hình hoặc gửi yêu cầu đến một endpoint bên ngoài có thể hợp lệ, nhưng kết hợp cả hai có thể dẫn đến rò rỉ dữ liệu.
Quarry hỗ trợ các cuộc hội thoại LLM đơn lượt và đa lượt, agent, sử dụng công cụ, giao tiếp Model Context Protocol (MCP) và dữ liệu đa phương tiện. Cisco cung cấp hướng dẫn cài đặt, phiên bản Python được hỗ trợ, plugin cho Claude Code, Codex và các agent tương thích MCP khác, ví dụ cấu hình và bộ quy tắc khởi động cùng với mã nguồn mở. Một quy tắc có thể chặn việc sử dụng malware được mã hóa base-64.
Các nhà nghiên cứu của Cisco chưa thử nghiệm Quarry trên dữ liệu từ vụ tấn công OpenAI-Hugging Face, nhưng họ cho rằng nếu sự cố được ghi lại đầy đủ, công cụ có thể đã phát hiện nhiều điểm đáng ngờ, như quyền truy cập internet từ sandbox hoặc việc sử dụng thông tin đăng nhập bị lộ. Theo báo cáo kỹ thuật của OpenAI, một agent đã xác thực 14 token Hugging Face có quyền ghi và chia sẻ chúng vào ngày 10 tháng 7.
Câu hỏi thường gặp
Project Quarry là gì?
Project Quarry là một công cụ phát hiện hành vi của AI agent do Cisco phát hành mã nguồn mở. Nó giúp theo dõi và phân tích hoạt động của agent để phát hiện các hành vi độc hại.
Project Quarry khác gì so với các công cụ phát hiện AI khác?
Project Quarry tập trung vào việc đánh giá toàn bộ ngữ cảnh của một phiên làm việc của agent, thay vì chỉ các tương tác riêng lẻ. Điều này giúp phát hiện các hành vi phức tạp hơn mà các công cụ khác có thể bỏ sót.
Project Quarry hỗ trợ những loại AI agent nào?
Project Quarry hỗ trợ các cuộc hội thoại LLM đơn lượt và đa lượt, agent, sử dụng công cụ, giao tiếp Model Context Protocol (MCP) và dữ liệu đa phương tiện.
Góc nhìn của Orange Cloud
Theo chúng tôi, Project Quarry có thể giúp các doanh nghiệp Việt Nam chủ động hơn trong việc bảo vệ hệ thống khỏi các cuộc tấn công sử dụng AI. Việc có một công cụ để theo dõi và phân tích hành vi của AI agent là rất quan trọng, đặc biệt khi các mô hình AI ngày càng được sử dụng rộng rãi. Tuy nhiên, cần lưu ý rằng các quy tắc chỉ là một phần của giải pháp; vẫn cần có sự giám sát của con người và các biện pháp bảo mật khác.