学习笔记

一元/多元线性回归、梯度下降算法、损失函数与学习率

特征尺度不一致导致梯度下降不稳定的根本原因，以及归一化与标准化的原理、实现和预测时的注意事项

Sigmoid激活函数、交叉熵损失、二元/多元逻辑回归与多分类

从线性回归的局限出发，理解 Sigmoid 函数的引入动机、w/b 参数的缩放平移作用，以及逻辑回归作为"线性变换 + 激活函数"原型的本质

从 MSE 在逻辑回归上的失败出发，理解二分类交叉熵损失（BCELoss）的设计动机、数学形式、统一公式和损失曲面的优越性

理解多元逻辑回归是多元线性回归 + Sigmoid 的升级结构，掌握决策边界的含义、通过多项式特征构造曲线边界、以及一对多方式扩展多分类

理解为什么需要划分数据集、三个集合各自的作用与使用频率、保证分布一致的重要性，以及实际工作中常见的术语混淆

理解欠拟合（训练集差）、过拟合（训练集好验证集差）、适度拟合（两者都好）的判断标准、原因和调整策略，以及训练过程中的诊断最佳实践

理解为什么准确率不可靠、混淆矩阵的四格含义、精确率与召回率的业务取舍逻辑，以及 F1-Score 如何平衡两者

从全量数据到单个样本再到小批量，理解三种梯度下降变体的权衡，以及 Batch Size 的选值原则（2 的幂、GPU 显存上限）

通过"顾客选购苹果"案例，理解如何从多个逻辑回归的组合中自然引出神经网络，以及人工特征工程被自动特征学习取代的关键转变

理解生物神经元与人工神经元的类比关系、神经网络的层次结构（输入层/隐藏层/输出层）、全连接层的含义，以及深度学习兴起的技术背景

矩阵计算、激活函数、softmax多分类与反向传播

理解神经网络中权重符号的命名规则、从逐神经元计算到矩阵乘法的转化过程、批量样本并行计算，以及 GPU 为何天然适合矩阵运算

理解激活函数的核心作用（引入非线性）、若无激活函数则多层退化为单层的数学证明，以及四种常用激活函数的公式、图像与适用场景

理解多分类网络的输出层改造（N 类 N 个神经元）、Softmax 的设计动机与公式推导、多分类交叉熵损失函数，以及二分类的两种实现方式对比

手动推导多分类神经网络（交叉熵 + Softmax）的反向传播过程，理解 δ（loss 对 logits 的偏导）在各层间传递的规律，以及单样本与批量数据的公式差异

理解链式法则连乘导致的梯度消失/爆炸的根本原因，以及三大应对策略：选择 ReLU 激活函数、Kaiming 参数初始化、消除神经元对称性

基于 MNIST 数据集，先手动实现一个完整的多分类神经网络（前向/反向/参数更新），再用 PyTorch 的 nn.Module/CrossEntropyLoss/SGD 重写，对比两者理解框架帮我们做了什么

理解正则化解决过拟合的核心思想、L1 产生稀疏解而 L2 产生平滑解的区别及数学原因，以及 PyTorch 中一行代码实现 L2 正则化的方法

理解指数加权平均的递推公式与递推思想、β 参数对衰减速度的控制、偏差修正的作用，以及在深度学习中（优化器、BatchNorm）的应用场景

理解标准梯度下降的振荡与局部最优问题，以及动量梯度下降如何用指数加权平均平滑梯度、抑制振荡、靠惯性冲过局部最优

理解统一学习率的困境、RMSProp 自适应学习率的核心思想（梯度大的除以大数、梯度小的除以小数），以及梯度平方指数加权平均的递推计算

理解 Adam 如何融合动量（一阶矩）与 RMSProp（二阶矩）、偏差修正的作用、各超参数的默认值，以及它在显存上的代价

理解权重衰减的原理（每次更新时直接缩小参数）、与 L2 正则化在 SGD 下等价但在 Adam 下不等价的数学推导，以及 PyTorch 中的一行实现

理解 Dropout 训练阶段的随机丢弃与 1/(1-p) 缩放机制、推理阶段的全神经元启用、防止神经元共适应的原理，以及 PyTorch 中的 nn.Dropout 使用方法

理解 Batch Normalization 的核心操作（标准化 → 缩放平移）、γ/β 可学习参数的意义、为什么 BN 前不加 bias、推理时的指数加权平均切换，以及 PyTorch 实现

理解图像数据的三大特性（输入特征多、局部性、平移不变性），以及它们如何暴露全连接网络的致命缺陷，引出卷积神经网络的设计动机

理解卷积运算的完整过程（滑动扫描→加权求和→加偏置→激活）、多通道与多 Filter 的维度变化、卷积与全连接的本质关系，以及卷积核如何检测边缘的直观例子

理解感受野随层数增加而扩大的规律、卷积核选奇数且常为 3×3 的原因、步长与 Padding 的作用，以及特征图输出尺寸的核心计算公式

理解最大池化与平均池化的操作过程、池化的三大作用、多通道池化为何不改变通道数，以及池化与卷积层的本质区别

理解 CNN 各模块（卷积/激活/池化/Flatten/全连接/Dropout）的职责，通过一个手写数字识别网络逐层计算参数，掌握"尺寸缩小、通道增多"的结构规律

理解 1×1 卷积的跨通道融合与降维能力、全局平均池化的空间压缩作用，以及两者配合彻底去除全连接层从而大幅减参、支持任意输入尺寸的原理

理解 LeNet-5 的里程碑地位、逐层网络结构与尺寸变化、PyTorch 实现，以及它开创的卷积+池化+全连接范式如何奠定现代 CNN 的基础

理解 ImageNet 竞赛的背景、AlexNet 以 ReLU/Dropout/GPU 并行等创新大幅刷新 Top-5 错误率的历史意义，以及其八层网络架构与 PyTorch 实现

理解 Inception 模块"不做选择全都要"的设计思想、1×1 卷积降维如何把参数和计算量缩减到十分之一，以及 GoogLeNet 的架构与辅助分类器的创新

理解"网络越深训练误差反而上升"的退化问题、恒等映射为何难以学习、残差连接 F(x)+x 的设计思想，以及捷径连接如何让梯度直达浅层

理解 ResNet 六阶段整体架构、BasicBlock 与 Bottleneck 两种残差块的实现细节、下采样捷径连接的 1×1 卷积，以及 BatchNorm 在卷积网络中的通道维度处理

理解迁移学习的核心思想、神经网络中"冻结特征提取层 + 替换分类头"的标准流程，以及根据目标数据量选择不同微调策略的原则与 PyTorch 实现

理解目标检测与图像分类的区别、边界框与 Ground Truth 的标注格式、分类+定位的联合损失设计、滑动窗口法与卷积共享计算，以及 R-CNN 和 YOLO 两大流派

理解语义分割与目标检测的区别、像素级多分类的原理、转置卷积如何上采样特征图，以及 U-Net 的编码器-解码器结构和跳跃连接的核心作用

理解 NLP 四个发展阶段的演进逻辑（人工规则→概率统计→神经网络→大语言模型），以及每个阶段的代表方法、突破与局限

梳理六类 NLP 任务（文本分类/回归、命名实体识别、翻译摘要、文本蕴含、语言模型）的输入输出形式、特点与难点，以及 n-gram 语言模型和大模型统一 NLP 的原理

理解 NLP 中 Token 与词典的概念、特殊 Token（UNK/BOS/EOS/SEP）的作用、词典大小的设计权衡，以及字节对编码 BPE 算法如何用词根思想构建词典

理解为何不能用词典序号编码 Token、独热编码的三大缺陷、词嵌入的低维稠密与语义推理能力，以及 Word2Vec 的 CBOW 和 Skip-gram 两种训练方法

理解语言模型计算序列概率与逐词生成文本的机制、贪婪策略的陷阱与 Beam Search 的改进，以及 Top-k、Top-p、Temperature 三种随机生成策略

理解序列问题、序列到序列任务形式、RNN 的隐状态记忆机制、循环层与普通层的区别，以及 RNN 为什么能够处理变长序列。

理解 LSTM 为什么能缓解普通 RNN 的长距离依赖问题，掌握细胞状态、遗忘门、输入门、输出门、候选记忆的计算逻辑，以及 PyTorch 中 nn.LSTM 的输入输出 shape。

LSTM 的门控机制推导、股价预测中的数据构造细节，以及一个最小可复现的 PyTorch 实现。

配置常用导入、训练超参数与计算设备，理解 CUDA 可见设备和逻辑编号。

理解张量的形状、创建方式、索引、视图、复制和广播规则。

理解计算图、叶子张量、梯度累积与向量—雅可比积，正确使用 detach 和 no_grad。

组织 Dataset 与 DataLoader，正确处理图片布局、CSV 标签、训练验证变换和多进程读入。

从 nn.Module 出发，理解模型、参数与自定义层的组织方式，并完成前向计算。

理解 Xavier、Kaiming 与 gain 的公式，按模块初始化参数，并避免重复遍历和破坏梯度记录。

按输入语义、标签格式和归约方式选择损失，核对交叉熵、回归、散度、排序与 CTC 的公式和示例。

对比两条 PyTorch Kernel 直调路径，梳理 C++ 封装、NPU Stream、动态库构建和 Python 调用。

从现实问题、假设和变量走到求解、验证与表达

用小例子理解向量矩阵、导数、概率与数组

从缺失、重复和量纲走到可用数据，理解插值与信息泄漏

围绕问题选择图表，读懂分布、关系和异常

从样本波动理解区间、p 值和检验选择

从手算最小二乘到带验证的预测模型

从距离、投影和旋转走到定位、方程与分解

从变化率建立模型，用解析解和数值解预测状态

把资源分配写成目标与约束，再检查解的可行性

用节点和边建模，区分最短路、生成树、流与路线规划

用 AHP、熵权和 TOPSIS 比较方案并检查排名稳健性

从相关特征找到低维表示，理解方差、投影与解释

识别趋势、季节和相关性，建立按时间验证的流程

手算平滑与一步预测，理解窗口、滞后和趋势修正

从递推权重理解水平、趋势与季节模型

从差分和自相关理解 AR、MA、ARIMA 的选择与诊断

从距离投票理解监督学习、交叉验证和评估

从条件概率与平滑走到文本分类

从投影与间隔理解 LDA、软间隔和核函数

从手算分裂走到剪枝、随机森林和梯度提升

通过手算分组理解 K-Means、DBSCAN、层次聚类和 GMM

从单个神经元的手算更新走到可验证的 MLP

理解 GA、PSO、ACO、SA 的更新与公平比较

用蒙特卡洛、马尔可夫和排队案例理解风险与误差

把非表格数据变成特征，理解分割、频谱与融合

完整连接数据检查、基线、验证、成本优化和报告

结合 2021 至 2025 年题目学习如何拆任务和验证方案

从数学符号、三角函数与导数开始，完整学习优化建模、问题分类、全局与局部最优，推导五个例题并详解六道课后习题。

fBm 的协方差结构、Hurst 指数的含义，以及基于 Cholesky 分解与 FFT 的模拟方法。

蒙特卡洛方法的核心思想、收敛速度分析，并用 Python 实现欧式看涨期权定价。

把机器学习、大模型、RAG、微调、Agent 与工程交付连成一条可循序学习的路线。

用房价与邮件分类例子解释样本、参数、向量、概率、导数、损失和张量形状。

先分清分类、回归、聚类和强化学习，再理解线性模型、树、集成、SVM、贝叶斯、KNN 与 PCA。

从考试类比理解训练、验证和测试，逐步学习缺失值、编码、标准化、交叉验证与调参。

亲手计算混淆矩阵、Precision、Recall、F1、MAE、RMSE、MRR 与 NDCG，并判断分数差异能说明什么。

从一个神经元解释前向、损失、反向传播和优化，再理解 CNN、RNN、Attention 与 Transformer 的分工。

区分字符、词、Token ID、静态词向量和上下文表示，并手算一次余弦相似度。

把预训练、SFT、偏好对齐、因果语言建模、采样和推理模型分开解释，追踪一段文本如何变成回答。

追踪模型读取提示和生成新 Token 的两个阶段，解释 KV Cache 省了什么，以及怎样估算缓存显存。

区分放得下与用得好，解释幻觉、重复、记忆衰退，并建立检索、验证与状态管理的处理思路。

用年假问答拆解任务、资料、约束、示例和输出格式，学习提示迭代、结构化校验与安全边界。

一步一步理解清洗、分块、向量化、索引、召回、重排与生成，搭一个不调用大模型的最小检索实验。

从错误类型出发选择分块、查询改写、混合检索、重排与图检索，避免盲目堆组件。

用矩阵形状和参数量计算解释微调在改什么，理解低秩更新、量化存储与训练显存的边界。

分清标准答案与偏好数据，理解监督微调、奖励模型和直接偏好优化，并设计可验证的数据流程。

追踪一次查年假工具调用，分清模型建议、宿主执行、连接协议、工具说明与真实权限。

用请假流程区分固定编排与动态决策，理解 Agent 循环、停止条件和多种协作模式。

区分对话历史、结构化状态和外部记忆，推导全量重传为何可能产生二次增长，并设计可恢复的任务记录。

从图像块与语义对齐入门，区分 OCR、文档理解、语音识别、语音生成、扩散与数字人流程。

从标准题集、证据与评分规则开始，分层检查回答、检索、工具、拒答、延迟、成本和真实业务收益。

把权重、缓存、激活与训练状态拆开算，理解 FP16、BF16、INT4、量化误差和计算与访存瓶颈。

用明确的教学单价算清输入、输出、缓存和 Agent 成本，比较 API、自建与路由方案的完整边界。

从浏览器访问 AI 助手开始，理解云服务层次、虚拟机与容器、DNS、TCP、HTTPS、SSE、带宽与延迟。

理解登录与授权、SSO、访问令牌、签名、幂等、超时、重试、限流、熔断和降级在 AI 系统中的职责。

从需求和验收出发，把文档、权限、检索、生成、工具与运营串起来，并运行一个本地证据选择实验。

把业务描述转换成技术任务，区分演示与概念验证，写清题集、验收、架构、成本与交付责任。

理解提示注入、数据权限、合规适用范围、知识更新、监控、灰度和回滚，建立上线后的责任闭环。

区分产品自主程度与系统技术分层，理解 Harness 的工程职责，并学会有证据地阅读不断变化的 AI 热点。

梳理 Ascend C 的定位、适用场景、API 层级，以及 Global/Local Memory 下的数据搬运与计算流程。

梳理 CANN 的软件桥梁作用、Host/Device 分工以及昇腾 NPU 与 AI Core 的内部结构。

梳理算子、Tensor、TensorDesc、shape、format 与 axis 的核心概念及其关系。

梳理 Ascend C 核函数语法、执行空间限定符、SPMD 多核并行模型及 Host 侧调用流程。

梳理矢量算子的三级流水线、TPipe/TQue/TBuf 资源模型及 Double Buffer 的工作原理。

以固定形状的逐元素 Add 为例，串联两级切分、双缓冲、Kernel 关键代码与 Host 验证要点。

从片上内存约束出发，推导适配任意 shape 和 dtype 的 Host 侧 Tiling 参数。

用 Sigmoid 串联矢量公式分解、三级流水、泛化 Tiling、多 dtype 与精度验证。

梳理矩阵乘 shape、Cube 分形格式、AI Core 存储位置以及多核与核内切分。

以 A×B+Bias 为例，串联 TCubeTiling、Matmul 对象、workspace、Host 调用和精度验证。

解释算子融合的性能来源、Cube—Vector 流水并行、适用条件与工程代价。

以 Matmul 后处理融合为例，梳理 Mix Kernel、Tiling、分块偏移、跨行 CopyOut 和综合验证。

掌握在 NPU Kernel 中观察张量、标量和多核切分参数的方法，并建立低干扰的调试流程。

从性能采集、指标解读到对照实验，建立 Ascend C 算子的真机调优闭环。

掌握 msProf simulator 的编译采集流程，并借助 Trace 时间线和源码周期定位性能热点。

沿时间线梳理 LLaMA/Llama 家族从高效文本基础模型，到长上下文、轻量多模态和 MoE 模型的发展主线。

从输入、Decoder Block 到词表输出，理解 LLaMA 1 如何在原始 Transformer 基础上组合 Pre-Norm、RMSNorm、RoPE 与 SwiGLU。

从中心化与尺度归一化出发，推导 RMSNorm 公式、性质和计算流程，并辨析它与 LayerNorm 的真正差异。

从残差路径出发比较 Pre-Norm 与 Post-Norm，理解两者的公式、梯度传播、训练稳定性和 LLaMA 的选择。

以课程 RMSNorm.ipynb 为代码主线，从最小实现出发补齐 epsilon、混合精度、正确验证和 PyTorch 对照测试。

回顾 Transformer 的正弦余弦位置编码，辨析相对位置、外推能力与内容位置耦合问题，并理解 LLaMA 为什么采用 RoPE。

从二维旋转、复数乘法和块对角矩阵三种视角推导 RoPE，证明注意力分数中的位置项只依赖相对距离。

辨析 RoPE 中“向量携带绝对相位”和“注意力分数只依赖相对位移”两个看似矛盾的结论。

从多频率余弦和解释 RoPE 的远程衰减倾向，区分振荡、衰减包络与长度外推，并理解长上下文扩展的困难。

以课程 ROPE.ipynb 为主线，完成频率预计算、复数旋转、广播与 shape 检查，并验证范数和相对位置性质。

修正并扩展 ROPE.ipynb 的实验，用位置核曲线、平移不变测试和距离分桶统计理解 RoPE 的振荡与远程衰减倾向。

从 RNN 的瓶颈出发，建立 Transformer 编码器—解码器架构的完整地图，并理解它的优势、代价与主要变体。

从一个查询如何检索上下文出发，推导缩放点积注意力的公式、张量形状、Mask 机制与正确 PyTorch 实现。

理解多头注意力为什么有效，逐步追踪拆头、并行计算、拼接与输出投影的张量形状，并给出可用于交叉注意力的实现。

从自注意力的排列等变性出发，推导正弦余弦位置编码、相对位置信息与正确 PyTorch 实现，并概览现代位置机制。

把多头自注意力、残差连接、LayerNorm 和逐位置前馈网络组装成 Encoder Layer，并比较 Pre-LN 与 Post-LN。

拆解 Transformer Decoder 的三个子层，理解因果 Mask、交叉注意力和源/目标不等长时的张量形状。

以机器翻译为例，串联目标右移、Teacher Forcing、Mask、交叉熵、并行训练与逐 token 推理。

以课程 Notebook 的 ModelArgs、MultiHeadAttention、Encoder、Decoder 与 Transformer 类为主线，完成代码整合、错误修正和最小测试。