← 全部标签

标签：ReLU

共 3 篇相关内容，按发布时间排列。

深度学习:AlexNet — 开启深度学习黄金时代的 CNN

2026 年 08 月 16 日深度学习

理解 ImageNet 竞赛的背景、AlexNet 以 ReLU/Dropout/GPU 并行等创新大幅刷新 Top-5 错误率的历史意义，以及其八层网络架构与 PyTorch 实现

AlexNet ImageNet CNN ReLU Dropout 深度学习里程碑

深度学习:激活函数 — Sigmoid、Tanh、ReLU、Leaky ReLU

2026 年 08 月 11 日深度学习

理解激活函数的核心作用（引入非线性）、若无激活函数则多层退化为单层的数学证明，以及四种常用激活函数的公式、图像与适用场景

激活函数 Sigmoid Tanh ReLU Leaky ReLU 非线性

深度学习:梯度消失与梯度爆炸 — 为什么深层网络难训练

2026 年 08 月 11 日深度学习

理解链式法则连乘导致的梯度消失/爆炸的根本原因，以及三大应对策略：选择 ReLU 激活函数、Kaiming 参数初始化、消除神经元对称性

梯度消失梯度爆炸 ReLU 参数初始化 Kaiming初始化