Cloudflare giảm 85% bộ nhớ và tăng tốc DNS nhờ cải tiến pipeline
"Cloudflare improved its DNS propagation pipeline by implementing a targeted build planner and new scheduler. This allows the system to rebuild only necessary zone settings instead of entire zones, reducing peak memory usage by 85% and halving the time to propagate DNS changes to Quicksilver. The improvements address scaling issues with increasingly large DNS zones (now exceeding 20 million records)."
Cải tiến này không trực tiếp liên quan đến bảo mật DNS, nhưng việc giảm thời gian xây dựng có thể giúp phản ứng nhanh hơn với các mối đe dọa.
Việc giảm chi phí vận hành và tăng tốc độ phản hồi của dịch vụ có thể mang lại lợi ích đáng kể cho các doanh nghiệp. Hiệu suất DNS ảnh hưởng trực tiếp đến trải nghiệm người dùng.
Cloudflare vừa giảm thời gian xây dựng DNS đi một nửa và giảm mức sử dụng bộ nhớ tới 85% nhờ một bộ lập kế hoạch xây dựng và bộ điều phối mới. Việc này giúp hệ thống chỉ xây dựng lại các cài đặt cần thiết thay vì toàn bộ zone, giải quyết vấn đề mở rộng quy mô khi các zone DNS ngày càng lớn (hiện tại đã vượt quá 20 triệu bản ghi).
Với các doanh nghiệp Việt Nam đang quản lý lượng lớn bản ghi DNS, việc giảm thời gian cập nhật và sử dụng tài nguyên là rất quan trọng. Cải tiến này có thể giúp giảm chi phí vận hành và tăng tốc độ phản hồi của dịch vụ.
Cách thay đổi DNS lan truyền
Một zone DNS bao gồm các bản ghi và cài đặt cho một tên miền. Cloudflare sử dụng một pipeline nhiều giai đoạn để chuyển đổi thay đổi của zone thành dữ liệu khả dụng trên toàn mạng lưới toàn cầu của họ. Quy trình này bao gồm:
- Khách hàng thay đổi bản ghi DNS thông qua API hoặc dashboard, hoặc một dịch vụ khác của Cloudflare thay đổi cài đặt zone.
- Thay đổi được lưu trữ trong cơ sở dữ liệu.
- Thay đổi cơ sở dữ liệu hoặc một hệ thống khác tạo ra một sự kiện Kafka.
- DNS Kafka Aggregator kết hợp các sự kiện từ nhiều topic Kafka và gửi chúng đến Zone Builder.
- Zone Builder đọc dữ liệu zone cần thiết và chuyển đổi nó thành các key mà máy chủ DNS của Cloudflare hiểu được.
- Zone Builder so sánh các key này với Quicksilver (cửa hàng key-value phân tán của Cloudflare). Nó chỉ ghi những thay đổi và Quicksilver lan truyền những thay đổi đó trên mạng lưới Cloudflare. https://blog.cloudflare.com/how-we-halved-dns-build-delay-and-cut-memory-use-by-85%/
Tại sao full build không còn khả thi
Trước đây, Zone Builder không cần biết lý do zone thay đổi. Nó xây dựng lại trạng thái mong muốn từ trạng thái cơ sở dữ liệu hiện tại. Tuy nhiên, việc này trở nên kém hiệu quả khi kích thước zone tăng lên. Việc cải tiến tập trung vào việc xác định chính xác những thay đổi cần thiết và chỉ xây dựng lại các phần liên quan, thay vì toàn bộ zone.
Câu hỏi thường gặp
Cloudflare đã giảm thời gian xây dựng DNS như thế nào?
Cloudflare đã giảm thời gian xây dựng DNS đi một nửa bằng cách triển khai một bộ lập kế hoạch xây dựng và bộ điều phối mới, cho phép chỉ xây dựng lại các cài đặt cần thiết.
Mức sử dụng bộ nhớ đã giảm bao nhiêu sau cải tiến này?
Mức sử dụng bộ nhớ tối đa đã giảm 85% nhờ vào bộ lập kế hoạch xây dựng và bộ điều phối mới, giúp hệ thống hoạt động hiệu quả hơn với các zone DNS lớn.
Zone Builder hoạt động như thế nào?
Zone Builder đọc dữ liệu zone cần thiết, chuyển đổi nó thành các key mà máy chủ DNS của Cloudflare hiểu được, so sánh với Quicksilver, và chỉ ghi những thay đổi.
Góc nhìn của Orange Cloud
Theo chúng tôi, việc giảm 85% mức sử dụng bộ nhớ là một cải tiến đáng kể, đặc biệt đối với các doanh nghiệp Việt Nam có hạ tầng hạn chế. Điều đáng chú ý là việc tối ưu hóa pipeline DNS này có thể giúp giảm chi phí vận hành và cải thiện hiệu suất ứng dụng. Các kỹ sư nên tìm hiểu cách Cloudflare xác định các thay đổi cần thiết để áp dụng các kỹ thuật tương tự cho hệ thống của họ.