1. AlexNet 论文的关键创新点
(2012, ImageNet Classification with Deep Convolutional Neural Networks)
创新点 | 简述 | 意义 |
---|---|---|
ReLU 激活函数 | 用 ReLU 替代 Sigmoid/Tanh | 缓解梯度消失,训练速度更快 |
Dropout 正则化 | 全连接层使用 Dropout | 有效防止过拟合 |
数据增强 | 平移、镜像、裁剪 | 提升泛化性能 |
GPU 并行训练 | 使用两块 GTX 580 训练 | 使大规模 CNN 训练成为可能 |
更深网络结构 | 5 个卷积层 + 3 个全连接层 | 能力大幅提升,ImageNet 错误率大幅降低 |
局部响应归一化 (LRN, 后续常用 BN 替代) | 模拟神经抑制 | 增强泛化(现代 CNN 多用 BN 替代) |
-
关键差异
特性LeNetAlexNet卷积层数2层5层全连接层3层3层激活函数ReLUReLUDropout无有(0.5)参数量62K24M
主要特点 1: LeNet-5: 经典的轻量级CNN,约62K参数 2: AlexNet: 更深更宽的网络,约24M参数(适配CIFAR-10) -
训练设置
LeNet vs AlexNet 实验模型差异对比
实验简介 这个实验在CIFAR-10数据集上对比了经典的LeNet-5和AlexNet两个卷积神经网络架构,展示了模型架构演进带来的性能提升。
维度 | LeNet(实验A) | AlexNet-mini(实验B) | 说明 |
---|---|---|---|
卷积层深度 | 2 个卷积块(Conv→Pool) | 3 个 stage × 每 stage 2 个卷积 + Pool(共 6 个卷积层) | AlexNet 更深,特征提取能力更强 |
卷积核大小 | 5×5 | 3×3 堆叠 | 更细粒度的特征提取,参数更高效 |
通道数 | 6 → 16 | 64 → 128 → 256 | 通道数更多,表达能力更强 |
激活函数 | ReLU | ReLU | AlexNet 论文强调 ReLU 的优势,为公平实验保持一致 |
归一化 | 无 | BatchNorm | 稳定分布、加快收敛(论文用 LRN,这里用 BN 替代) |
池化方式 | 最大池化 (MaxPool) | 最大池化 (MaxPool) | AlexNet 原论文也是 MaxPool,为公平一致 |
正则化 | Dropout(0.5) + L2 | Dropout(0.5) + L2 | 论文提出 Dropout,这里两模型都采用 |
数据增强 | 无(MNIST/F-MNIST) 随机裁剪+翻转(CIFAR-10) |
同左 | 保持一致,体现论文提出的数据增强思想 |
输入数据 | MNIST/F-MNIST: 1×28×28 CIFAR-10: 3×32×32 |
同左 | 输入保持一致,只比较网络结构差异 |