Nghiên cứu cho thấy AI tự động vá lỗi bảo mật còn hạn chế
"Researchers at 1Password's Off-by-1 Labs evaluated 6,080 AI-generated security patches across six recently disclosed CVEs using ChatGPT 5.5 and Claude Opus 4.8. They found autonomous patches fully and cleanly remediated vulnerabilities only 26.0% of the time, with many either failing to fix all exploit paths or introducing new security and behavior issues, indicating human review remains necessary."
Cho thấy AI tự động vá lỗi có tỷ lệ thành công thấp và có thể tạo thêm lỗ hổng mới; cần kiểm tra thủ công trước khi phát hành bản vá.
Có thể giúp giảm chi phí thử nghiệm ban đầu, nhưng nếu thiếu giám sát chuyên gia sẽ làm tăng rủi ro vận hành và chi phí khắc phục về sau.
Các nhà nghiên cứu tại 1Password Off-by-1 Labs đã đánh giá 6.080 bản vá do AI tạo ra trên 6 CVE mới công bố, sử dụng ChatGPT 5.5 và Claude Opus 4.8. Kết quả cho thấy các bản vá tự động chỉ sửa đúng và sạch lỗ hổng trong 26,0% trường hợp. Phần còn lại либо không khắc phục hết đường khai thác, либо tạo thêm vấn đề về bảo mật hoặc hành vi ứng dụng.
Trong số các bản vá được tạo ra, 20,1% sửa được lỗi gốc nhưng làm thay đổi hành vi ứng dụng; 2,3% sửa lỗi nhưng phát sinh thêm lỗ hổng mới; 49,3% không chặn được ít nhất một đường khai thác; và 2,2% vừa không sửa xong vừa tạo thêm đường khai thác mới. Nhóm nghiên cứu cũng cho biết hơn một phần ba các bản vá được xem là “thành công” vẫn ở trạng thái fragile, tức chỉ xử lý triệu chứng chứ chưa giải quyết nguyên nhân gốc.
Khuyến nghị cho đội kỹ thuật là tiếp tục dùng AI như công cụ hỗ trợ, nhưng phải có human review trước khi triển khai. Doanh nghiệp có thể cân nhắc dùng bộ đánh giá FLAWED để kiểm tra chất lượng bản vá và tránh phụ thuộc vào LLM-driven patching hoàn toàn tự động.