
Thiết kế mô hình-agnostic cho hệ thống nghiên cứu lỗ hổng (VDH/VVS)
"The article describes building a model-agnostic vulnerability research harness that externalizes state, supports persistence and resumability, and scales from a single-repo security skill into a fleet-wide pipeline. It outlines a two-stage workflow: a Vulnerability Discovery Harness (VDH) for recon, hunting, validation, deduplication, and cross-repo tracing, followed by a Vulnerability Validation System (VVS) that deduplicates, judges, and fixes findings using different models to cross-check results. The main impact is improved coverage and reduced false positives across large multi-language codebases, with the primary fix being a database-backed orchestration architecture rather than reliance on a single agent or model."
Tăng độ phủ và giảm false positives nhờ đối chiếu chéo giữa VDH và VVS bằng các mô hình khác nhau; đồng thời giảm rủi ro bỏ sót do context exhaustion bằng cách tách tác vụ và kiểm soát ngữ cảnh. Điểm then chốt: deduplication theo nguyên nhân gốc, validate có cơ chế bác bỏ, và truy vết phụ thuộc cross-repo để bắt lỗi ở ranh giới thành phần.
Giảm chi phí vận hành so với quy trình chạy lặp thủ công nhờ resumability và orchestration dựa trên database, giúp pipeline ổn định khi gặp lỗi kết nối/rate-limit. Điểm then chốt: giảm thời gian tinh chỉnh khi chuyển từ skill cục bộ sang fleet pipeline, và lọc từ hàng nghìn ứng viên xuống hàng đợi triage có thể hành động.
Bài viết mô tả cách xây dựng một vulnerability research harness có thể thay đổi mô hình linh hoạt, tách biệt quản lý trạng thái và hỗ trợ chạy lại (resumability) để triển khai quét ở quy mô “fleet”. Kiến trúc được tổ chức theo hai giai đoạn: Vulnerability Discovery Harness (VDH) để trinh sát, săn tìm, xác thực sơ bộ, khử trùng lặp và truy vết theo phụ thuộc; sau đó là Vulnerability Validation System (VVS) để deduplicate, đánh giá và đề xuất/triển khai sửa lỗi bằng một tập mô hình khác nhằm đối chiếu chéo.
Trong VDH, các stage gồm Recon, Hunt, Validate (kiểm tra cơ học theo schema/đường dẫn và dùng tác nhân cô lập để cố gắng bác bỏ), cùng các tác nhân Gapfill, Dedup, Trace và Feedback để sinh nhiệm vụ mới, gộp phát hiện trùng và học từ lỗi xác thực. Hệ thống nhấn mạnh kiểm soát ngữ cảnh: mỗi tác vụ được giới hạn để tránh “context exhaustion”, đồng thời mọi stage ghi vào SQLite theo khóa (run_id, repo, stage) để có thể resume/retry sau sự cố.
Khuyến nghị kỹ thuật: bắt đầu tối thiểu với các stage Recon/Hunt/Validate, dùng database-backed orchestration thay vì phụ thuộc một agent duy nhất, và chỉ mở rộng cross-repo tracing khi đã có nhiều repository liên quan để giảm nhiễu.