11卷积神经网络（高级）

发表于2025-11-12|更新于2025-11-12|pytorch刘二大人

|浏览量:

之前学习的都是线性的串行结构
就是上一个的输出作为下个的输入

convoltion：卷积
pooling：池化
softmax：输出
other：拼接层

为了减少代码冗余：

使用函数调用
构造类
00:04:05.180

发现这些快长得都一样
所以把其封装成类

有一些参数比较难选
比如kernel选哪个，

googlenet的思路是，再一个块中，使用多个kernnel
然后对结果进行评价，让最优的kernel权重增加

对于每一条路，变换之后bwh必须相同
c可以不同
00:11:39.744

00:13:30.545
00:13:30.545

求和也就是信息融合

00:19:24.494

上面这个的运算量太大了

00:20:06.613

直接变为原来的十分之一

这个也就是1x1的卷积神经网络的作用

网络中的网络：1x1卷积

00:22:11.511

00:23:26.250

所有的内容整合到一块，形成一个类

右图是构造网络
00:30:37.481

一共输出88个通道
00:31:02.224

这也是代码中88的由来

最优的是在中间，而不是最后，所以训练轮数不是越多越好
，后面有过拟合的倾向

对于这种情况的操作是，将最好的版本进行存盘

20层的卷积比56层更好

原因有可能是：梯度消失

当梯度趋近于0时，权重就得不到更新
也就是里输入比较近的块，没办法得到充分的训练

训练神经网络若干个层

解决办法
00:38:46.307

将每一层进行加锁
算完之后加锁
逐层训练

这个实际上是很难执行的，因为层数很多

跳连接

加完了再激活

重点是和x做加法
这就要求输出 $F (x)$ 的bchw都需要和x一致
b batch
c channel
。。。
00:42:02.763

注意最后一步顺序
先求和，再激活

接下来的学习路线
00:53:35.096

最好通读一遍pytorch
00:54:13.784

复现一些比较经典的代码
00:54:48.217

跑通代码不对
应该是读代码，了解架构

然后进行架构的复现，00:56:14.756

完结撒花

文章作者: Xing

文章链接: http://example.com/2025/11/12/pytorch%E5%88%98%E4%BA%8C%E5%A4%A7%E4%BA%BA/11%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%EF%BC%88%E9%AB%98%E7%BA%A7%EF%BC%89/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Xing！

学习资源神经网络卷积神经网络计算机网络优化算法深度学习 PyTorch 线性回归刘二大人梯度下降

相关推荐

4back propagation(反向传播）

00:01:49.339 00:02:18.624 注意这里时对损失进行求导，而不是对 #mjx-5a3a948{ display:contents; mjx-assistive-mml { user-select: text !important; clip: auto !important; color: rgba(0,0,0,0); } mjx-container[jax="SVG"] { direction: ltr; } mjx-container[jax="SVG"] > svg { overflow: visible; min-height: 1px; min-width: 1px; } mjx-container[jax="SVG"] > svg a { fill: blue; stroke: blue; } mjx-assistive-mml { position:...

7处理多维输入

输入有多个特征每一行被叫做一个样本 00:01:22.739 meiyili 每一列被称为特征 excel常用空格 tab ，进行分割 00:10:22.816 00:10:06.374 00:12:37.613 00:13:38.352 00:14:24.317 一组一组的运算转换成矩阵运算（向量化的运算）为什么要变换：因为可以并行计算，这个样利用cpu或者gpu的并行计算能力 00:15:14.284 上图是上节课的可以用于与这节课的图片进行对比把多层logist回归相连就可以构建多层神将网路 00:17:12.583 00:17:28.402 这里列的数量对应特征00:17:50.766 00:18:23.748 这样可以再接一层，让2维的再降到1维 00:20:31.314 00:21:21.153 我们的目标是8d->1d的非线性变换函数 #mjx-b62d9cf{ display:contents; mjx-assistive-mml { ...

5pytorch实现线性回归

使用随机梯度下降 00:02:18.384 00:03:07.590 上节课的例子因为梯度不会自动清零，为了使这次的梯度不影响下次的梯度，进行手工清零线性回归就是恨简单的神经网络 00:06:32.614 训练步骤：前馈:算损失反馈：算梯度更新：使用梯度下降算法更新权重 00:06:33.097 00:06:50.802 要使用mini-batch 要一次性将 #mjx-3521173{ display:contents; mjx-assistive-mml { user-select: text !important; clip: auto !important; color: rgba(0,0,0,0); } mjx-container[jax="SVG"] { direction: ltr; } mjx-container[jax="SVG"] > svg { overflow: ...

9多分类问题

使用softmax 00:01:46.755 00:01:58.457 十个分类神经网络应该如何设计 00:03:21.365 希望的要求：输出之间竞争性输出就是一个分布概率大于0 概率求和为1 00:08:00.963 00:09:30.429 00:10:29.210 求和之后结果为100:12:58.619 00:13:42.719 00:14:09.852 00:14:49.264 00:14:59.977 交叉熵 00:18:14.365 00:19:17.457 00:19:36.942 00:20:50.262 00:21:47.606 00:22:31.144 最后一层是不需要手动进行非线性激活的，因为交叉熵损失会直接激活 00:24:38.539 00:24:21.657 2表示这个第二个元素最大 0表示第0个元素最大 1表示第一个元素最大 y_pred和预测的比较拟合，所以第一个预测算出来的损失会比较小 00:26:14.653 00:26:40.399 思考交叉熵和nll损失的区别 00:28:33.060...

深度学习顺序准备数据集模型选择训练推理 00:01:57.536 00:02:38.739 00:03:56.345 仅有输入的数据，在测试或者推理阶段 00:04:40.157 数据集交给算法，得到预测算法，使用模型只进行预测 00:05:46.753 知道输出值-》监督学习测试集用于评价模型好坏数据集分成两个部分 00:08:42.608 00:10:06.592 00:12:21.957 00:13:54.806 深度学习训练最大问题：过拟合过拟合：把图像中的噪声也学进去了比如训练集中的小猫都很可爱，但是测试集的小猫不可爱，导致测试中无法准确识别需要模型有比较好的泛化能力训练集分成两份开发集用于对训练集进行评估，防止过拟合评估比较好好再把所有的训练集重新训练，之后丢给测试集 00:15:00.775 00:17:13.524 其实就是找到 #mjx-5672fa7{ display:contents; mjx-assistive-mml { ...

目标实现一个学习系统理解简单的神经网络（nn）/dl 00:11:46.636 人类智能通过信息进行推理看到照片与抽象概念结合：预测 00:19:29.936 mechine learning 就是代替人脑目前常用的都是监督学习算法思维：穷举贪心分治动态规划深度学习：有数据集找出算法机器学习计算过程也就是函数来源于数据，而不是人工（基于统计） 00:24:01.499 dl属于表示学习rl 00:28:28.199 求原函数首先构造知识库 00:29:14.598 00:29:41.156 实现类似人类智能的就算ai 00:32:34.716 对于复杂问题，基于规则的代码，人类难以维护经典机器学习：手工提取特征。最重要要把 00:34:05.608 重点是使用机器学习找到中间的 #mjx-3f243cf{ display:contents; mjx-assistive-mml { user-select: text !important; ...