Prefill nghẽn phép tính, decode nghẽn băng thông — từ sự lệch pha đó sinh ra PagedAttention, prefix caching, gộp lô liên tục, suy đoán rồi kiểm, attention thưa và lai tuyến tính. Đây là tầng thuật toán đang quyết định chi phí thật của AI năm 2026.
Cấu trúc dữ liệu cho phép nhiều người sửa cùng lúc, kể cả khi mất mạng, rồi gộp lại mà không cần ai phân xử — giải thích qua danh sách mua sắm, bộ đếm và soạn thảo văn bản.
'100 yêu cầu mỗi phút' có ít nhất bốn cách hiểu, cho ra hành vi khác hẳn ở các ranh giới. Cửa sổ cố định, cửa sổ trượt, túi token, xô rò — chọn cái nào cho việc gì.
Băm chia dư cho số máy chạy hoàn hảo tới khi bạn thêm máy thứ 4 vào cụm 3 — gần như mọi khoá đổi chỗ. Consistent hashing chữa đúng bệnh đó bằng một vòng tròn.
Một tỉ URL lưu vào bảng băm tốn hàng chục GB; Bloom filter làm gần đúng bằng vài trăm MB. Nó không bao giờ nói sai 'không có' — và chính điều đó quyết định cách dùng.
So một vector với một triệu vector kiểu vét cạn không dùng được ở quy mô thật. HNSW đổi độ chính xác tuyệt đối lấy tốc độ lô-ga-rít — và đây là cách nó làm được.
Big-O mô tả xu hướng khi dữ liệu tiến tới vô cùng — nhưng dữ liệu thật hiếm khi ở gần đó. Khi nào hằng số quan trọng hơn bậc, và vì sao trượt bộ đệm đổi mọi thứ.
Mỗi lần viết d["key"] là một bảng băm đang làm việc. Cấu trúc vô hình nhất trong lập trình — và va chạm, hệ số tải, cú giật băm lại đều đáng để hiểu.
