➔ Trở về Trang chủ
OrangeCloud Insights
AI••⏱️ 2 phút đọc•Biên tập: OrangeCloud Insights (AI-assisted)•Nguồn: commandline.microsoft.com – Mehrnoosh Sameki, Sandeep Atluri, Minsoo Thigpen and Abby Palia
ASSERT: Khung đánh giá AI tự động từ đặc tả hành vi

ASSERT: Khung đánh giá AI tự động từ đặc tả hành vi

Tóm tắt kỹ thuật (TL;DR)

"Microsoft announced ASSERT (Adaptive Spec-driven Scoring for Evaluation and Regression Testing), an open-source framework that converts natural-language behavior specifications into executable evaluations for AI models and agents. The system generates test scenarios, datasets, metrics, and scorecards, then runs them against targets and scores traces against policy taxonomies; the article reports internal validation showing broader behavior coverage and judge agreement with human review, with no CVE involved."

🛡️ Tác động Bảo mật8/10

ASSERT giúp chuẩn hóa kiểm thử hành vi AI, giảm nguy cơ bỏ sót lỗi ứng dụng đặc thù và tăng khả năng phát hiện hành vi không mong muốn.

💼 Tác động Vận hành6/10

ASSERT hỗ trợ tăng hiệu quả kiểm thử AI, giúp doanh nghiệp rút ngắn thời gian phát triển và nâng cao độ tin cậy sản phẩm.

Microsoft vừa công bố ASSERT (Adaptive Spec-driven Scoring for Evaluation and Regression Testing), một khung mã nguồn mở hỗ trợ chuyển đổi đặc tả hành vi bằng ngôn ngữ tự nhiên thành các bài kiểm thử có thể thực thi cho mô hình AI và agent. ASSERT tự động tạo kịch bản kiểm thử, bộ dữ liệu, chỉ số đánh giá và bảng điểm, sau đó chạy các kiểm thử này trên hệ thống mục tiêu và đối chiếu kết quả với taxonomy chính sách đã định nghĩa.

Quy trình của ASSERT gồm bốn bước: (1) Hệ thống hóa đặc tả hành vi thành taxonomy chi tiết, (2) Sinh bộ kiểm thử phân tầng dựa trên nhiều chiều (loại tác vụ, persona, môi trường...), (3) Thực thi kiểm thử và ghi lại toàn bộ trace, và (4) Đánh giá kết quả theo taxonomy và chính sách với giải thích rõ ràng. Kết quả kiểm thử không chỉ là pass/fail mà còn có lý do, trích dẫn chính sách và mẫu lỗi để đội phát triển dễ dàng kiểm tra, hiệu chỉnh.

Qua hai nghiên cứu nội bộ, ASSERT cho thấy độ bao phủ hành vi rộng hơn 1,2 lần, phát hiện nhiều mẫu lỗi hơn và phân biệt rõ hơn giữa các hệ thống mạnh/yếu so với baseline. Độ đồng thuận giữa LLM judge và đánh giá con người đạt 80–90%, cho thấy tính khả tín của phương pháp. ASSERT không liên quan đến CVE, tập trung vào tăng hiệu quả kiểm thử hành vi ứng dụng AI. Khuyến nghị đội kỹ thuật AI cân nhắc tích hợp ASSERT để chuẩn hóa và mở rộng kiểm thử hành vi sản phẩm.

Xem nguồn tin gốc để kiểm tra kỹ hơn các thông số kỹ thuật:Xem nguồn tin gốc ➔