深度学习架构分析.pdfVIP

深度学习架构分析 近年来， 深度学习的发展势头迅猛， 要跟上深度学习的进步速度变得越来越困难了。 几乎每一天都有 关于深度学习的创新，而大部分的深度学习创新都隐藏在那些发表于 ArXiv 和 Spinger 等研究论文中。 本文介绍了部分近期深度学习的进展和创新，以及 Keras 库中的执行代码，本文还提供了原论文的链接。 简洁起见，本文中只介绍了计算机视觉领域内比较成功的深度学习架构。 1 何为深度学习“高级架构” ? 与一个简单的机器学习算法相比，深度学习算法包含了更加多样的模型。其中的原因是在建立一个完整的 模型时，神经网络具有很大的灵活性。 有时，我们还可以把神经网络比作乐高积木，可以用它搭建任何简单或者复杂的小建筑。 我们其实可以将“高级架构”简单地定义为一个有着成功模型记录的深度学习架构，这样的“高级架构” 主要出现在类似 ImageNet 的挑战中， 在这些挑战中，你的任务是解决问题， 比如用给定的数据完成图像 识别。 简单来说， ImageNet 就是一项关于数据集的挑战， 而其中的数据集是从 ILSVR(ImageNet 大规模 视觉识别 ) 中获得的。 2 就像下文即将提到的架构，其中的每个架构之间都有细微的差别，而正是这些差别使它们区别于普通的模 型，让它们在解决问题的时候发挥出普通模型不具备的优势。这些架构同样属于“深度模型”的范畴，因 此它们的性能也很可能优于其相对应的“浅层模型”。 不同类型的“计算机视觉任务” 本文主要关注于“计算机视觉”，所以很自然地会涉及到“计算机视觉”的任务。顾名思义，“计算机视 觉任务”就是建立一个能够复制完成人类视觉任务的计算机模型。这实质上意味着，我们视力所见和感知 的内容是一个能够在人造系统中被理解和完成的程序。 计算机视觉任务的主要类型有： 物体识别 / 分类： 在物体识别中，你会得到一张原始图像，而你的任务就是判断出这张图像属于哪 一类别。 分类及定位： 如果图像中只有一个对象，那么你的任务就是找到该对象的位置。这个问题应该更 加具体地表述为“定位问题”。 物体检测： 在物体检测中，你的任务是识别出物体处于图像中的什么位置。这些对象可能属于同 一类别，也可能属于不同类别。 图像分割： 图像分割是一项稍微复杂的任务，其目的是将图像的各个像素映射到其对应的各个类 别。 3 各种深度学习架构 目前，我们已经了解了深度学习“高级架构”，并探究了各种类型的计算机视觉任务。那么接下来，我们 将列举出最重要的深度学习架构，并且对这些架构进行简单的介绍： 1. AlexNet AlexNet 是第一个深度学习架构， 它是由深度学习先锋之一—— Geoffrey Hinton 和他的同事们共同研究 并引入的。 AlexNet 是一个看似简单但功能非常强大的网络架构，它为现在深度学习的突破性研究铺平了 道路。下图是 AlexNet 架构： 4 从分解图中我们可以看出， AlexNet 其实就是一个简单的架构，其中的卷积层和聚积层相互叠加，最顶部 的是全连接层。早在二十世纪八十年代， AlexNet 模型就已经被概念化描述了。 AlexNet 区别于其他模型 的关键在于它的任务规模，以及它用于训练的 GPU 规模。在八十年代，用于训练神经网