
Phát hiện lỗi race condition trong thư viện hyper HTTP gây cắt cụt phản hồi ảnh
"Cloudflare identified a timing-sensitive race condition in the Rust hyper HTTP library used by its Images service, causing some large image responses to be truncated while still returning HTTP 200. The issue appeared under real production concurrency when a socket buffer filled before all response bytes were flushed, leading hyper to call shutdown too early; the fix was a small code change in the response-handling path."
Lỗi chủ yếu gây mất tính toàn vẹn dữ liệu (truncation) hơn là khai thác trực tiếp, nhưng có thể dẫn tới xử lý sai ở lớp trên. Điểm then chốt: HTTP 200 vẫn được trả dù thân bị cắt; shutdown quá sớm làm dừng việc flush dữ liệu.
Tác động vận hành là gián đoạn trải nghiệm hiển thị/giải mã ảnh và tăng chi phí hỗ trợ khi lỗi chỉ xảy ra với ảnh lớn và tải đồng thời. Điểm then chốt: tỷ lệ lỗi không ổn định (intermittent); ảnh bị cắt dù không có log lỗi rõ ràng.
Dịch vụ Images chạy trên Workers (Rust) sử dụng thư viện hyper để xử lý kết nối HTTP. Sau khi thay đổi kiến trúc vào cuối 2025 (chuyển sang kết nối cục bộ qua intermediary nội bộ), nhóm ghi nhận báo cáo rằng một số yêu cầu biến đổi ảnh lớn bị truncation: client nhận HTTP 200 OK nhưng thân phản hồi bị cắt ngắn (ví dụ kỳ vọng ~3.3 MB nhưng chỉ nhận khoảng ~200 KB). Trường hợp này thường chỉ xuất hiện trong điều kiện tải thực tế có concurrency và nhạy theo thời điểm.
Quá trình điều tra cho thấy dữ liệu đã bị cắt ngay từ đường đi của binding/Images service, không phải do intermediary. Các kiểm thử tái hiện cho thấy lỗi không xuất hiện khi chạy cục bộ, nhưng xuất hiện khi có client Workers thật và luồng socket thực. Nhóm dùng strace để so sánh syscall: ở request lỗi, shutdown(SHUT_WR) được gọi quá sớm sau khi chỉ ghi một phần nhỏ dữ liệu vào socket, trong khi buffer nội bộ của hyper vẫn còn phần thân chưa flush.
Khắc phục là một thay đổi nhỏ trong logic xử lý phản hồi của hyper (đảm bảo chỉ shutdown khi toàn bộ dữ liệu đã được flush).