追踪模型读取提示和生成新 Token 的两个阶段，解释 KV Cache 省了什么，以及怎样估算缓存显存。
标签：显存
共 2 篇相关内容，按发布时间排列。
把权重、缓存、激活与训练状态拆开算，理解 FP16、BF16、INT4、量化误差和计算与访存瓶颈。
共 2 篇相关内容，按发布时间排列。
追踪模型读取提示和生成新 Token 的两个阶段，解释 KV Cache 省了什么，以及怎样估算缓存显存。
把权重、缓存、激活与训练状态拆开算，理解 FP16、BF16、INT4、量化误差和计算与访存瓶颈。