一、先把账算清楚
1.1 每 token 占多少
KV Cache 的字节数是确定的，不用猜。每一层、每个 KV 头、每个头维度，K 和 V 各存一份：
kv_bytes_per_token = 2 × num_layers × num_kv_heads × head_dim × dtype_AI 与机器学习
Source：https://www.freebuf.com/articles/ai-security/510931.html
用长上下文请求挤占 vLLM 与 SGLang 的 KV Cache 池把推理服务拖死
FreeBuf0 views
