深度学习:逻辑回归的损失函数 — 为什么用交叉熵而不是 MSE

1. 回顾：构建模型 = 假设函数 + 损失函数 + 优化

一个完整的模型由三部分组成：

输入 → 假设函数（模型结构） → 预测值 → 损失函数 → 梯度下降优化参数

上一节确定了逻辑回归的假设函数：

$\hat{y} = \frac{1}{1 + e^{-(wx+b)}}$

这一节要确定它的损失函数——用来衡量预测值 $\hat{y}$ 和真实值 $y$ 之间的差距。

线性回归用的 MSE：

$\text{MSE} = \frac{1}{n} \sum (\hat{y}_i - y_i)^2$

把它用在”气温预测是否出门”的数据上。将假设函数代入 MSE 后，表达式只含 w 和 b 两个变量。

画出 loss 随 w、b 变化的曲面（Z 轴 = loss，X 轴 = w，Y 轴 = b）：

结论：MSE 不适合逻辑回归，需要专门为分类问题设计的损失函数。

BCELoss（Binary Cross Entropy Loss）根据真实标签 $y$ 的取值，分为两种情况：

当 $y = 1$ 时（正例）：

$\text{BCELoss} = -\log(\hat{y})$

当 $y = 0$ 时（负例）：

$\text{BCELoss} = -\log(1 - \hat{y})$

先看 $y=1$ 的情况（真实标签为正例）：

再看 $y=0$ 的情况（真实标签为负例）：

预测情况	预测值	真实标签	BCE 的行为
预测对	$\hat{y} \approx 0$	$y = 0$	loss → 0
预测对	$\hat{y} \approx 1$	$y = 1$	loss → 0
预测错	$\hat{y} \approx 0$	$y = 1$	loss → +∞（重罚）
预测错	$\hat{y} \approx 1$	$y = 0$	loss → +∞（重罚）

核心思想：预测对 → 损失小，预测错 → 损失爆炸。而且越错得离谱（如标签是 1 但预测 0.01），惩罚越大。

分情况写太麻烦，两条合并成一条：

$\text{BCELoss}(y, \hat{y}) = -\Big[y \cdot \log\hat{y} + (1-y) \cdot \log(1-\hat{y})\Big]$

验证：

与分情况的定义完全一致。这是一个二合一的写法，方便编程实现：

# PyTorch 中一行搞定
loss = -(y * torch.log(y_hat) + (1 - y) * torch.log(1 - y_hat)).mean()

回到之前那组”气温与是否出门”数据，绘制 BCE 关于 w 和 b 的损失曲面：

回归问题（预测连续值）→ MSE Loss
分类问题（预测类别）  → BCE Loss（二分类）/ CrossEntropyLoss（多分类）

为什么分类不能套用回归的损失函数？

因为输出范围变了：