
Tối ưu hóa hiệu năng truy vấn ClickHouse trong hệ thống phân tích dữ liệu quy mô lớn
"Cloudflare reported that billing-related ClickHouse aggregation jobs slowed after a migration to a new (namespace, day) partitioning scheme that increased total part counts. Investigation showed the main bottleneck was query-planning overhead from mutex contention and repeated copying of the parts list, followed by linear part filtering; fixes included switching to a shared lock, avoiding unnecessary vector copies via a shared cache, and adding a namespace-based binary search, with the last patch cutting query duration by about 50%."
Ảnh hưởng bảo mật chủ yếu ở rủi ro gián đoạn quy trình tính cước và tác động đến tính sẵn sàng hệ thống do truy vấn chậm, có thể gây lỗi nghiệp vụ hoặc thất thoát dữ liệu nếu không xử lý kịp thời.
Ảnh hưởng vận hành gồm chậm trễ xuất hóa đơn, gián đoạn dòng doanh thu và tăng chi phí vận hành do tài nguyên hệ thống bị chiếm dụng bởi các truy vấn kéo dài.
Một hệ thống phân tích dữ liệu quy mô lớn sử dụng ClickHouse đã gặp phải tình trạng chậm trễ nghiêm trọng trong các tác vụ tổng hợp dữ liệu phục vụ quy trình tính cước sau khi chuyển đổi sang mô hình phân vùng mới theo (namespace, day). Mặc dù các chỉ số về I/O, bộ nhớ, số lượng dòng quét đều bình thường, nhưng thời gian truy vấn tăng dần theo tổng số lượng data part trong bảng.
Quá trình điều tra sử dụng flame graph và trace_log của ClickHouse đã xác định nút thắt nằm ở giai đoạn lập kế hoạch truy vấn (query planning), chủ yếu do cạnh tranh mutex và thao tác sao chép danh sách part lặp lại. Để giải quyết, nhóm kỹ thuật đã triển khai ba cải tiến chính:
- Chuyển sang sử dụng shared lock thay cho exclusive lock khi truy vấn danh sách part, giúp giảm đáng kể thời gian chờ khóa.
- Tối ưu hóa thao tác sao chép vector, sử dụng cache chia sẻ để tránh sao chép không cần thiết, chỉ lọc và sao chép các phần thực sự cần thiết cho truy vấn.
- Áp dụng tìm kiếm nhị phân theo namespace trên danh sách part đã sắp xếp, giúp giảm mạnh phạm vi lọc và rút ngắn thời gian truy vấn tới 50%.
Các bản vá này đã được đóng góp lên mã nguồn ClickHouse (từ phiên bản 25.11), giúp cải thiện hiệu năng truy vấn đáng kể, đặc biệt với các hệ thống có số lượng part lớn và nhiều truy vấn đồng thời. Đội ngũ kỹ thuật nên cân nhắc cập nhật phiên bản và đánh giá các phương án tối ưu hóa tương tự khi mở rộng quy mô lưu trữ và phân vùng dữ liệu.