当前位置: 首页 > news >正文

AlexNet vs LeNet 对比实验

1. AlexNet 论文的关键创新点

(2012, ImageNet Classification with Deep Convolutional Neural Networks)

创新点 简述 意义
ReLU 激活函数 用 ReLU 替代 Sigmoid/Tanh 缓解梯度消失,训练速度更快
Dropout 正则化 全连接层使用 Dropout 有效防止过拟合
数据增强 平移、镜像、裁剪 提升泛化性能
GPU 并行训练 使用两块 GTX 580 训练 使大规模 CNN 训练成为可能
更深网络结构 5 个卷积层 + 3 个全连接层 能力大幅提升,ImageNet 错误率大幅降低
局部响应归一化 (LRN, 后续常用 BN 替代) 模拟神经抑制 增强泛化(现代 CNN 多用 BN 替代)
  1. 关键差异
    特性LeNetAlexNet卷积层数2层5层全连接层3层3层激活函数ReLUReLUDropout无有(0.5)参数量62K24M
    主要特点 1: LeNet-5: 经典的轻量级CNN,约62K参数 2: AlexNet: 更深更宽的网络,约24M参数(适配CIFAR-10)

  2. 训练设置

LeNet vs AlexNet 实验模型差异对比

实验简介 这个实验在CIFAR-10数据集上对比了经典的LeNet-5和AlexNet两个卷积神经网络架构,展示了模型架构演进带来的性能提升。

维度 LeNet(实验A) AlexNet-mini(实验B) 说明
卷积层深度 2 个卷积块(Conv→Pool) 3 个 stage × 每 stage 2 个卷积 + Pool(共 6 个卷积层) AlexNet 更深,特征提取能力更强
卷积核大小 5×5 3×3 堆叠 更细粒度的特征提取,参数更高效
通道数 6 → 16 64 → 128 → 256 通道数更多,表达能力更强
激活函数 ReLU ReLU AlexNet 论文强调 ReLU 的优势,为公平实验保持一致
归一化 BatchNorm 稳定分布、加快收敛(论文用 LRN,这里用 BN 替代)
池化方式 最大池化 (MaxPool) 最大池化 (MaxPool) AlexNet 原论文也是 MaxPool,为公平一致
正则化 Dropout(0.5) + L2 Dropout(0.5) + L2 论文提出 Dropout,这里两模型都采用
数据增强 无(MNIST/F-MNIST)
随机裁剪+翻转(CIFAR-10)
同左 保持一致,体现论文提出的数据增强思想
输入数据 MNIST/F-MNIST: 1×28×28
CIFAR-10: 3×32×32
同左 输入保持一致,只比较网络结构差异
http://www.hskmm.com/?act=detail&tid=30388

相关文章:

  • QT:获取文件信息之创建日期方法created()方法--废弃
  • 排列组合 容斥 总结
  • 10.13每日总结
  • 新学期每日总结(第7天)
  • 20232422 2025-2026-1 《网络与系统攻防技术》实验一实验报告
  • Day 9
  • 14 10.13
  • 日志|前端框架Vue
  • oop.shiyan1
  • 玄机——第一章 应急响应-Linux日志分析 wp
  • 第四周第五天4.5
  • 深入解析:flutter AudioPlayer的使用问题及处理
  • 11 10.10
  • 12 10.11
  • P3330 [ZJOI2011] 看电影
  • 20232315 2025-2026-1 《网络与系统攻防技术》实验一实验报告
  • 地址
  • CSP-S 2025 提高级模拟赛 Day6 复盘 B.连通子图
  • 新手村程序
  • Android Camera openCamera - 教程
  • 信号与系统
  • 大作业第一阶段验收小组集体加5分 -
  • 业务定义与指标体系搭建
  • Linux使用笔记
  • [Vulhub靶机]W1R3S靶机渗透
  • 基于zynq实现一个边缘识别视频流(预学习HLS篇)
  • 咬鼠
  • 10月13日日记
  • 分享一个知乎高赞回答生成AI指令:让技术人也能写出有深度的回答
  • 实用指南:C语言速成秘籍——循环结构(while、do while、for)和跳转语句(break,continue)