ncnn KV cache mem opt ncnn 的 KVcache 模式优化

[chentyjpm]

detail | 详细描述 | 詳細な説明

NCNN 的 kv cache 目前使用 concat + 完整拷贝的模式
这种模型在 长token下会严重拖慢速度并且占用超多的内存
考虑对这部分进行优化
目前有2个方向

1. 避免拷贝
   可以采取的路线有
   Paged KV 对 kvcache分块 变成多个 mat 不要求单一KV cache
   cycle RingBuffer KV 固定预分配最大 kvcache长度 超过即开始丢弃
2. 量化KVcache 节省内存
   压缩kvcache到 int4 int8 减少内存占用

[dosubot]

Hi @chentyjpm! I'm Dosu and I’m helping the ncnn team.

NCNN 目前 KV cache 的实现确实采用 concat + 完整拷贝，每步都重新分配和拷贝全部历史 KV，导致长 token 情况下速度和内存占用都很高。这一实现方式已在 MultiHeadAttention 和 SDPA 层的 KV cache 相关 PR 中明确体现（如 #6333、#6405），并有详细文档说明（见 docs/developer-guide/kvcache.md）。

你提到的两种优化方向：

1. 避免拷贝（Paged KV / RingBuffer）：目前代码和文档中没有发现任何 paged KV 或 ring buffer KV cache 的实现或实验性代码，相关讨论也未见于 issues 或 PR。现有 KV cache 逻辑始终是新分配+全量 memcpy，没有分块或循环缓冲的机制。

2. 量化 KV cache（int4/int8）：int8 量化已在 MultiHeadAttention 和 SDPA 层支持（#5733、#6405），并有文档说明（docs/developer-guide/operators.md）。int4 量化目前还未正式支持，但社区有相关需求和讨论（如 issue #6321、PR #6439、issue #2270），涉及 block quantization 等方案，但尚未落地到 KV cache 相关实现。

目前没有看到关于 KV cache 性能或内存占用的 benchmark 或用户报告。如果你有兴趣推进 paged KV/ring buffer 或 int4 量化，可以关注上述 PR/issue 的进展，或参考 int8 量化的实现方式进行尝试。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}