← 全部标签

标签:QKV

共 1 篇相关内容,按发布时间排列。

Transformer(二):缩放点积注意力、QKV 与 Mask

从一个查询如何检索上下文出发,推导缩放点积注意力的公式、张量形状、Mask 机制与正确 PyTorch 实现。