← 全部标签

标签:大模型推理

共 1 篇相关内容,按发布时间排列。

AI 原理学习笔记(九):上下文窗口、Prefill、Decode 与 KV Cache

追踪模型读取提示和生成新 Token 的两个阶段,解释 KV Cache 省了什么,以及怎样估算缓存显存。