标签：PyTorch

修正并扩展 ROPE.ipynb 的实验，用位置核曲线、平移不变测试和距离分桶统计理解 RoPE 的振荡与远程衰减倾向。

以课程 ROPE.ipynb 为主线，完成频率预计算、复数旋转、广播与 shape 检查，并验证范数和相对位置性质。

以课程 RMSNorm.ipynb 为代码主线，从最小实现出发补齐 epsilon、混合精度、正确验证和 PyTorch 对照测试。

对比两条 PyTorch Kernel 直调路径，梳理 C++ 封装、NPU Stream、动态库构建和 Python 调用。

理解 LSTM 为什么能缓解普通 RNN 的长距离依赖问题，掌握细胞状态、遗忘门、输入门、输出门、候选记忆的计算逻辑，以及 PyTorch 中 nn.LSTM 的输入输出 shape。

理解多头注意力为什么有效，逐步追踪拆头、并行计算、拼接与输出投影的张量形状，并给出可用于交叉注意力的实现。

以课程 Notebook 的 ModelArgs、MultiHeadAttention、Encoder、Decoder 与 Transformer 类为主线，完成代码整合、错误修正和最小测试。

基于 MNIST 数据集，先手动实现一个完整的多分类神经网络（前向/反向/参数更新），再用 PyTorch 的 nn.Module/CrossEntropyLoss/SGD 重写，对比两者理解框架帮我们做了什么

LSTM 的门控机制推导、股价预测中的数据构造细节，以及一个最小可复现的 PyTorch 实现。