形象理解深度学习中八大类型卷积

作为深度可分离卷积的第二步，为了扩展深度，我们应用1x1卷积，内核大小为1x1x3。将5 x 5 x 3输入图像与每个1 x 1 x 3内核进行对比，可提供大小为5 x 5 x 1的映射。

因此，在应用128个1x1卷积后，我们可以得到一个尺寸为5 x 5 x 128的层。

深度可分卷积 - 第二步：应用多个1 x 1卷积来修改深度。

通过这两个步骤，深度可分离卷积还将输入层(7 x 7 x 3)转换为输出层(5 x 5 x 128)。

深度可分离卷积的整个过程如下图所示。

深度可分卷积的整个过程

那么，深度可分离卷积的优势是什么?效率!与2D卷积相比，对于深度可分离卷积，需要更少的操作。

让我们回顾一下2D卷积示例的计算成本。有128个3x3x3内核移动5x5次。这是128 x 3 x 3 x 3 x 5 x 5 = 86,400次乘法。

可分离的卷积怎么样?在第一个深度卷积步骤中，有3个3x3x1内核移动5x5次。那是3x3x3x1x5x5 = 675次乘法。在1 x 1卷积的第二步中，有128个1x1x3内核移动5x5次。这是128 x 1 x 1 x 3 x 5 x 5 = 9,600次乘法。因此，总体而言，深度可分离卷积需要675 + 9600 = 10,275次乘法。这只是2D卷积成本的12%左右!

分组卷积

2012年，在AlexNet论文中引入了分组卷积。实现它的主要原因是允许通过两个具有有限内存(每个GPU 1.5 GB内存)的GPU进行网络训练。下面的AlexNet在大多数层上显示了两个独立的卷积路径。它正在跨两个GPU进行模型并行化(当然，如果有更多的GPU，可以进行多GPU并行化)。

在这里，我们描述分组卷积如何工作。首先，传统的2D卷积遵循以下步骤。在此示例中，通过应用128个滤波器(每个滤波器的大小为3 x 3 x 3)，将大小为(7 x 7 x 3)的输入层转换为大小为(5 x 5 x 128)的输出层。或者在一般情况下，通过应用Dout内核(每个大小为h x w x Din)将大小(Hin x Win x Din)的输入层变换为大小(Hout x Wout x Dout)的输出层。

标准2D卷积

在分组卷积中，过滤器被分成不同的组。每组负责具有一定深度的传统2D卷积。如下图。

具有2个滤波器组的分组卷积

以上是具有2个滤波器组的分组卷积的说明。在每个滤波器组中，每个滤波器的深度仅为标称2D卷积的深度的一半。它们具有深度Din/2。每个滤波器组包含Dout/2滤波器。第一个滤波器组(红色)与输入层的前半部分([：，：0：Din/2])卷积，而第二个滤波器组(蓝色)与输入层的后半部分卷积([：，：，Din/2：Din])。因此，每个过滤器组都会创建Dout / 2通道。总的来说，两组创建2 x Dout/2 = Dout频道。然后，我们使用Dout通道将这些通道堆叠在输出层中。

【编辑推荐】

1. 2018人工智能十本好书汇总
2. 国外最火的深度学习实践课新版发布，100%全新前沿内容
3. 10分钟带你读完人工智能的三生三世
4. IBM：将向所有云平台开放自家Watson人工智能系统
5. 机器学习准入门槛降低，机器学习工程师职位或将消失

（编辑：开发网_开封站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!