
Cảnh báo về giới hạn kiểm soát AI qua prompt và tác động đến bảo mật phần mềm
"The article describes how jqwik, a Java property-based testing tool, added anti-AI usage warnings and an output message intended to make AI coding agents delete tests and code, which led to user complaints and a later change in version 1.10.1 to a less destructive warning. It also discusses security research on Shai-Hulud-related malware, where malicious comments and prompts are used to trigger LLM safety refusals and interfere with AI-assisted malware triage, highlighting the limits of prompt-based controls on AI systems."
Có thể gây xóa mã kiểm thử ngoài ý muốn, làm gián đoạn quy trình CI/CD; malware lợi dụng prompt để né tránh AI scanner.
Ảnh hưởng đến tính liên tục phát triển phần mềm nếu kiểm thử bị xóa; giảm hiệu quả tự động hóa phân tích mã độc dựa trên AI.
Một số công cụ kiểm thử phần mềm như jqwik (Java property-based testing) đã bổ sung cảnh báo và thông báo nhằm hạn chế việc sử dụng bởi AI coding agents. Trong phiên bản 1.10, jqwik từng hiển thị thông điệp yêu cầu các tác nhân AI xóa toàn bộ mã kiểm thử, dẫn đến nhiều khiếu nại từ người dùng và được điều chỉnh lại ở bản 1.10.1 chỉ còn cảnh báo không sử dụng. Sự kiện này cho thấy các biện pháp kiểm soát AI dựa trên prompt có thể gây ra hậu quả ngoài ý muốn, đặc biệt khi bot không phân biệt được ngữ cảnh hoặc điều khoản sử dụng.
Song song, nghiên cứu bảo mật về malware Shai-Hulud cho thấy các đoạn mã độc có thể chèn bình luận hoặc prompt giả mạo nhằm kích hoạt cơ chế từ chối xử lý của LLM-based scanner. Điều này khiến quy trình phân tích mã độc tự động gặp khó khăn, khi AI từ chối quét các tệp chứa nội dung nhạy cảm hoặc hướng dẫn nguy hiểm (dù chỉ là bình luận không thực thi). Các ví dụ này nhấn mạnh giới hạn của kiểm soát dựa trên prompt đối với AI, và cho thấy cần kết hợp nhiều lớp kiểm tra bảo mật truyền thống với các giải pháp AI.
Khuyến nghị kỹ thuật: Đội ngũ vận hành nên rà soát các công cụ kiểm thử/phân tích mã nguồn, cập nhật chính sách sử dụng AI, đồng thời triển khai giải pháp bảo mật nhiều lớp để giảm thiểu rủi ro từ các kỹ thuật lẩn tránh AI hoặc prompt injection.