Cấu hình 'steering file' cho mô hình AI phát hiện lỗ hổng (Phần 2)

AWS vừa công bố cách cấu hình mô hình AI để phân loại lỗ hổng bảo mật một cách nhất quán, giống như một chuyên gia bảo mật có kinh nghiệm. Bài viết này tập trung vào 'steering file' – tập hợp các hướng dẫn để mô hình thực hiện kiểm tra cấu trúc, đánh giá dựa trên bằng chứng và ưu tiên theo hạ tầng. Phần trước đã đề cập đến kiến trúc tổng thể.

Sự khác biệt quan trọng là cùng một mô hình AI, với cấu hình khác nhau, sẽ cho kết quả khác biệt. Một cấu hình tốt sẽ tạo ra đánh giá bảo mật chính xác, trong khi cấu hình kém có thể tạo ra các lỗ hổng không có thật, làm giảm niềm tin vào quy trình. Khả năng của mô hình là cố định, cấu hình mới quyết định cách nó đánh giá.

Nhóm phát triển đã nhận thấy các phiên bản ban đầu của hệ thống tạo ra các cảnh báo nghe có vẻ hợp lý nhưng không chính xác. Ví dụ, mô hình báo cáo lỗ hổng SQL injection trong một hàm không tồn tại, hoặc bỏ qua AWS WAF đang hoạt động. Kết quả này không đủ tin cậy để kỹ sư sử dụng.

Giải pháp không phải là mô hình tốt hơn, mà là cấu hình tốt hơn. 'Steering file' là tập hợp các hướng dẫn mà AI sử dụng khi bắt đầu mỗi phiên làm việc. Các công cụ khác nhau sử dụng định dạng khác nhau (Kiro dùng markdown trong .kiro/steering/, Claude Code dùng CLAUDE.md, Cursor dùng .cursorrules, GitHub Copilot dùng .github/copilot-instructions.md), nhưng chức năng đều giống nhau: cung cấp hướng dẫn liên tục để định hình cách mô hình xử lý công việc.

Trong bảo mật, 'steering file' mã hóa quy trình phân loại lỗ hổng của nhóm thành các hướng dẫn thực thi được. Thay vì dựa vào kỹ sư áp dụng quy trình này một cách thủ công, bạn mã hóa nó một lần và mô hình áp dụng nhất quán cho mọi phân tích. 'Steering file' này mã hóa các nguyên tắc kiến trúc từ bài viết trước thành các hướng dẫn cụ thể, ví dụ như cách các biện pháp kiểm soát ánh xạ đến hệ số nhân, cách các hệ số nhân cộng dồn và ngưỡng tối thiểu để tránh tự tin quá mức.

A single-turn prompt ( find vulnerabilities in this code ) produces whatever the model’s default behavior generates. That default is optimized for helpfulness, not rigor. The model will find things to report because you asked it to find things.

A steering file changes the default. It establishes:

• What counts as evidence: Without explicit instructions, a model treats its own reasoning as sufficient evidence. The steering file requires structural verification—confirmed dataflow, confirmed function existence, and confirmed call path—before a finding is reported.

• What confidence means: On its own, a model assigns confidence based on how plausible its narrative sounds to itself. The steering file replaces self-reported confidence with a formula computed from binary structural signals. Either taint analysis confirms the flow or it doesn’t. Either a call graph connects entry point to sink or it doesn’t.

• How infrastructure affects priority: Left to its defaults, a model assesses vulnerabilities in isolation from their deployment context. The steering file requires parsing infrastructure as code (IaC) and applying control-specific multipliers before assigning priority.

The goal is reproducibility: the same codebase should produce the same assessed findings regardless of who runs the analysis or when. Consistency is the point.

Bài viết chia 'steering file' thành năm phần chính: kiểm tra cấu trúc, đánh giá dựa trên bằng chứng, tính đến hạ tầng, kiểm soát độ tin cậy và quản lý ngoại lệ. Chi tiết đầy đủ có trong repository đi kèm.

Câu hỏi thường gặp

Steering file là gì?

Steering file là tập hợp các hướng dẫn mà mô hình AI sử dụng để thực hiện phân tích lỗ hổng. Nó giúp định hình cách mô hình tiếp cận công việc, đảm bảo tính nhất quán và chính xác.

Tại sao cấu hình quan trọng hơn là mô hình AI?

Cấu hình quyết định cách mô hình đánh giá các lỗ hổng. Một cấu hình tốt sẽ tạo ra kết quả chính xác, trong khi cấu hình kém có thể tạo ra các cảnh báo sai hoặc bỏ sót các lỗ hổng thực.

Các phần chính của steering file là gì?

Steering file bao gồm các phần về kiểm tra cấu trúc, đánh giá dựa trên bằng chứng, tính đến hạ tầng, kiểm soát độ tin cậy và quản lý ngoại lệ. Mỗi phần đóng góp vào việc đảm bảo tính chính xác và nhất quán của quy trình phân tích.