XRanges for AI chấm điểm tác nhân an ninh tự động
"XRanges for AI, built by CTF.ae, is a benchmark and scoring platform for autonomous security agents that evaluates real target applications using OpenTelemetry instrumentation. It measures four independent signals—coverage, boundaries, exploited vulnerabilities, and integrity—to distinguish genuine exploitation from hallucinated findings and to detect rule violations or environment damage during testing."
Giúp xác thực khai thác thực tế thay vì chỉ dựa vào báo cáo của tác nhân; đồng thời phát hiện vi phạm quy tắc và suy giảm toàn vẹn môi trường trong quá trình kiểm thử.
Hỗ trợ đội an ninh đánh giá nhiều mô hình/lần chạy một cách nhất quán; giảm chi phí review thủ công và rủi ro kết luận sai khi so sánh kết quả.
XRanges for AI, do CTF.ae phát triển, là một benchmark và nền tảng chấm điểm cho autonomous security agents khi kiểm thử các ứng dụng mục tiêu thực tế. Hệ thống triển khai ứng dụng có OpenTelemetry để ghi nhận hành vi trong quá trình chạy, thay vì chỉ dựa vào báo cáo do tác nhân tự tạo ra.
Nền tảng đánh giá theo bốn tín hiệu độc lập: coverage để đo mức độ khám phá bề mặt hợp lệ, boundaries để phát hiện vi phạm quy tắc kiểm thử, exploited vulnerabilities để xác nhận lỗ hổng nào thực sự bị khai thác, và integrity để kiểm tra ứng dụng còn hoạt động đúng hay không. Cách tiếp cận này giúp phân biệt kết quả khai thác thật với phát hiện sai hoặc suy diễn của mô hình.
Theo mô tả, mỗi mục tiêu mô phỏng một ứng dụng nhiều dịch vụ, có dữ liệu sẵn, luồng xử lý nền và các lỗ hổng được cài cắm. Khuyến nghị cho đội kỹ thuật là dùng telemetry có cấu trúc, đặt quy tắc kiểm thử rõ ràng, và theo dõi cả tác động lên môi trường thay vì chỉ nhìn vào danh sách phát hiện. Điều này đặc biệt hữu ích khi so sánh nhiều mô hình, cấu hình hoặc lần chạy lặp lại.