从一个神经元解释前向、损失、反向传播和优化，再理解 CNN、RNN、Attention 与 Transformer 的分工。
标签：Transformer
共 4 篇相关内容，按发布时间排列。
从 RNN 的瓶颈出发，建立 Transformer 编码器—解码器架构的完整地图，并理解它的优势、代价与主要变体。
从自注意力的排列等变性出发，推导正弦余弦位置编码、相对位置信息与正确 PyTorch 实现，并概览现代位置机制。
理解 NLP 四个发展阶段的演进逻辑（人工规则→概率统计→神经网络→大语言模型），以及每个阶段的代表方法、突破与局限