➔ Trở về Trang chủ
OrangeCloud Insights
Security••⏱️ 2 phút đọc•Biên tập: OrangeCloud Insights (AI-assisted)•Nguồn: blog.cloudflare.com – Dave Baxter
Tăng cường năng lực quét bảo mật với cải tiến kiến trúc hệ thống

Tăng cường năng lực quét bảo mật với cải tiến kiến trúc hệ thống

Tóm tắt kỹ thuật (TL;DR)

"Cloudflare describes a scaling overhaul for its Security Insights scanning pipeline, which had been running too infrequently and missing many free-plan accounts. The team increased throughput from about 10 scans per second to over 120 by parallelizing Kafka consumers, splitting slow and fast processing paths, optimizing Postgres writes, switching the API to active-passive to eliminate cross-region latency, and redesigning the scheduler with independent zone scheduling and adaptive rate limiting."

🛡️ Tác động Bảo mật8/10

Tăng tần suất quét giúp phát hiện sớm rủi ro bảo mật và giảm thời gian tồn tại cấu hình sai.

💼 Tác động Vận hành6/10

Nâng cao độ tin cậy dịch vụ và giảm thiểu nguy cơ gián đoạn vận hành do sự cố bảo mật chưa được phát hiện kịp thời.

Một hệ thống quét bảo mật tự động đã được nâng cấp để tăng năng lực quét toàn cầu từ khoảng 10 lên hơn 120 lượt quét mỗi giây. Động lực thay đổi xuất phát từ việc tần suất quét thấp (1-2 tuần/lần) và nhiều tài khoản miễn phí chưa được quét tự động, dẫn đến nguy cơ bỏ sót các rủi ro bảo mật mới phát sinh.

Đội ngũ kỹ thuật đã thực hiện nhiều cải tiến: song song hóa xử lý Kafka consumer, tách luồng xử lý nhanh/chậm để tối ưu tài nguyên, và tối ưu hóa ghi dữ liệu vào Postgres bằng cách kết hợp UNNEST và COPY tùy theo số lượng bản ghi. Ngoài ra, API nội bộ được chuyển từ mô hình active-active sang active-passive, giúp loại bỏ độ trễ liên vùng và giảm timeout. Bộ lập lịch (scheduler) cũng được thiết kế lại với cơ chế phân phối quét đều theo vùng, random hóa thời điểm quét, và giới hạn tốc độ thích ứng dựa trên tổng số tài khoản, vùng và tần suất mong muốn.

Nhờ các thay đổi này, hệ thống đã đạt mục tiêu tăng gấp 10 lần công suất quét, đảm bảo phát hiện nhanh các cấu hình sai hoặc rủi ro bảo mật cho hàng triệu tài khoản. Khuyến nghị kỹ thuật: các tổ chức vận hành hệ thống quét quy mô lớn nên xem xét song song hóa xử lý, tối ưu hóa truy vấn cơ sở dữ liệu, và thiết kế lại scheduler để phân phối tải đều, tránh hiện tượng dồn ứ hoặc trễ xử lý.

Xem nguồn tin gốc để kiểm tra kỹ hơn các thông số kỹ thuật:Xem nguồn tin gốc ➔