Cloudflare bổ sung Transformers cho Logpush để lọc và ẩn dữ liệu trước khi xuất log
"Cloudflare introduced Logpush Transformers, a SQL-based in-pipeline processing feature that filters, reshapes, and redacts logs before export. The feature lets customers remove sensitive fields, normalize schemas, and drop unwanted records without deploying separate processing services, while preserving high-throughput, predictable delivery in the Logpush path. The implementation runs in-process using Apache DataFusion and Apache Arrow, and outputs transformed records in NDJSON format."
Giảm rủi ro lộ dữ liệu nhạy cảm khi log được redact trước khi xuất; giảm bề mặt xử lý hậu kỳ bằng cách loại bỏ bước trung gian riêng.
Giảm chi phí lưu trữ và ingest do loại bỏ log không cần thiết sớm hơn; đơn giản hóa vận hành khi không phải duy trì dịch vụ xử lý riêng.
Cloudflare đã giới thiệu Logpush Transformers, một tính năng xử lý SQL-based ngay trong luồng xuất log để lọc, reshape và redact dữ liệu trước khi gửi ra ngoài. Theo mô tả, khách hàng có thể loại bỏ các trường nhạy cảm, chuẩn hóa lược đồ, đổi tên hoặc lồng các trường, và bỏ qua các bản ghi không cần thiết mà không phải triển khai thêm một dịch vụ xử lý riêng.
Tính năng này chạy in-process trong đường dẫn Logpush và sử dụng Apache DataFusion cùng Apache Arrow để giữ hiệu năng và mức sử dụng tài nguyên ở mức dự đoán được. Dữ liệu sau biến đổi được xuất ở định dạng NDJSON. Cloudflare cho biết cách tiếp cận này giúp giảm lượng dữ liệu phải xuất, ingest và lưu trữ ở các hệ thống đích như SIEM, nền tảng phân tích hoặc object storage.
Về vận hành, Transformer có thể được tạo và quản lý qua Cloudflare dashboard, Transformer Studio hoặc API. Mỗi thay đổi tạo ra một phiên bản mới để theo dõi lịch sử cấu hình. Với các đội kỹ thuật, khuyến nghị là rà soát các trường nhạy cảm cần redact, xác định rõ các điều kiện WHERE để loại bỏ log không cần thiết, và kiểm thử lược đồ đầu ra trước khi gắn vào job xuất log đang chạy.