Watermark AI có thể làm thay đổi hành vi của LLM trước prompt độc hại
"Research indicates that AI text watermarking, specifically SynthID-Text, can alter LLM behavior beyond word choice and affect tool use and safety-guardrail adherence. Under adversarial prompts, watermarking may make models more likely to execute harmful instructions or reveal sensitive information, highlighting the need to test model and agent behavior with watermarking enabled."
Có thể làm tăng rủi ro prompt injection và rò rỉ thông tin nhạy cảm; cần kiểm thử guardrail và tool use khi bật watermarking.
Ảnh hưởng đến độ tin cậy của AI agents và quy trình triển khai; có thể phát sinh thêm chi phí kiểm thử và điều chỉnh chính sách.
Nghiên cứu mới cho thấy AI text watermarking như SynthID-Text không chỉ ảnh hưởng đến cách chọn từ của mô hình mà còn có thể tác động đến việc gọi công cụ và mức độ tuân thủ guardrail an toàn. Trong các thử nghiệm với adversarial prompts, một số mô hình có xu hướng thực hiện các chỉ dẫn có hại hoặc tiết lộ thông tin nhạy cảm nhiều hơn khi watermarking được bật.
Theo mô tả kỹ thuật, SynthID-Text dùng một secret key để thay đổi nhẹ quá trình chọn từ tiếp theo, giúp xác định nội dung có được tạo bởi nền tảng hay không. Tuy nhiên, việc thay đổi cơ chế sinh văn bản này có thể tạo ra trade-off ngoài dự kiến đối với hành vi của LLM và AI agents.
Khuyến nghị cho đội phát triển là kiểm thử lại mô hình trong cả chế độ có và không có watermarking, đặc biệt với các luồng có tool use, truy cập dữ liệu nhạy cảm và các kịch bản tấn công prompt. Cần đánh giá riêng các chính sách an toàn, logging và kiểm soát quyền trước khi triển khai rộng.