线性回归与 Softmax 回归：深度学习基础模型解析 - 实践

线性回归：解决连续值预测问题

估计连续数值，最典型的场景如房价预测 —— 通过分析房屋的卧室数量、车库大小、所属学区等特征，结合往年成交价格数据，预测目标房屋的合理报价。就是线性回归的核心目标

从模型表达式来看，线性回归通过建立输入特征与输出结果的线性关系实现预测。其基础形式为y=wᵀx+b，其中 x 是输入特征向量，w 是特征权重，b 是偏置项；当处理多组数据时，可扩展为矩阵形式y=Xw+b，提高计算效率。

而模型的训练过程，本质是寻找最优参数（w 和 b）以最小化损失函数（衡量预测值与真实值的差距）。这一过程依赖梯度法：梯度是由所有变量偏导数构成的向量，它指示着函数值减小最快的方向。训练时，模型从初始参数出发，沿梯度反方向逐步更新参数，反复迭代直至损失函数收敛到最小值。

不过，梯度法的效果受超参数影响显著。以随机梯度下降（SGD）为例，它依据每次选取部分数据计算梯度来更新参数，平衡训练效率与效果。其中，学习率和批量大小是关键超参数：学习率过大会导致参数震荡不收敛，过小则会使训练速度极慢；批量大小过小无法充分利用计算资源，过大则会浪费资源且可能陷入局部最优。实际应用中，小批量随机梯度下降因兼顾效率与性能，成为深度学习中默认的优化算法。

Softmax 回归：应对多类别分类任务

当任务从 “预测连续值” 转向 “判断离散类别” 时，Softmax 回归应运而生。生活中常见的分类场景，如 ImageNet 素材集的 1000 类自然对象识别、MNIST 手写数字的 10 类区分、Kaggle 平台上的人类蛋白质图像 28 类分类与维基百科恶语评论 7 类划分等，都可经过 Softmax 回归解决。

与线性回归不同，Softmax 回归的输出层神经元数量通常等于类别数量 —— 比如识别 10 个手写数字时，输出层会设置 10 个神经元，每个神经元的输出代表模型预测样本属于对应类别的 “置信度”。但直接输出的置信度不满足概率属性，因此需要通过Softmax 运算进行转换：先对每个输出值做指数运算（确保结果非负），再将所有指数结果除以它们的总和（确保所有类别概率和为 1）。例如，若原始输出为 [1, -1, 2]，经过 Softmax 运算后可得到概率分布 [0.26, 0.04, 0.7]，清晰反映出样本属于第三类的概率最高。

从模型结构上看，Softmax 回归可视为一个单层神经网络，其输出层为全连接层 —— 每个输出神经元的计算都依赖所有输入特征，这保证了模型能充分利用输入信息进行类别判断。

在损失函数选择上，由于平方损失（L2 损失）和绝对损失（L1 损失）在分类任务中易导致优化效率低、梯度消失等疑问，Softmax 回归通常采用交叉熵损失。交叉熵损失能有效衡量模型预测概率分布与真实标签概率分布的差距，当预测越接近真实类别时，损失值越小，从而引导模型敏捷收敛到最优参数。

两大模型的核心差异与总结

线性回归与 Softmax 回归虽同属基础线性模型，但在任务目标、输出形式和损失函数上存在本质区别：线性回归针对连续值预测，输出单个连续结果，用均方损失衡量误差；Softmax 回归针对多类别分类，输出类别概率分布，用交叉熵损失优化模型。

从深度学习体系来看，这两个模型是理解复杂网络的关键起点：线性回归的参数优化逻辑（梯度下降、超参数调整）可直接迁移到深度网络训练中；Softmax 回归的全连接层结构与概率输出思想，更是后续卷积神经网络、循环神经网络等处理分类任务时的核心组件。掌握它们，就能为深入学习更繁琐的深度学习模型打下坚实基础。