CNN 发展历程
• LeNet (1998):局部感受野 + 池化,第一次真正提出 CNN
• AlexNet (2012):ReLU + Dropout + 数据增强 + GPU,加速深度网络训练
• VGG (2014):3×3 小卷积堆叠,结构简洁、可扩展
• Inception (2014–15):多尺度卷积 + 1×1 降维,提高效率
• ResNet (2015):残差连接,解决深层退化问题,网络可堆百层
• DenseNet (2016):密集连接,特征复用、梯度更顺畅
• MobileNet (2017):深度可分离卷积,轻量化,高效
• EfficientNet (2019):复合缩放(深度×宽度×分辨率),自动化寻优
每个时间点的优化本质都围绕三条主线:
1. 让网络更深而不难训练(ReLU、BN、残差、密集连接);
2. 让计算更高效(小卷积、Inception、多分支、可分离卷积
3. 让模型泛化更强(数据增强、Dropout、自动化缩放)。