深度学习在工业质检中的应用

1简介

如今，深度学习（Deep Learning）已经开始改变人类的生活。从农业到服务业；从人们基本的吃喝住行，到国防科技，人们已经开始广泛的讨论人工智能（AI）在许多领域取代人类的可能。工业作为社会生产的基石，自然需要开始逐步拥抱AI技术，落地使用场景。工业产品质检的场景往往是，产品批量大，要求品质高，而这种大规模、高精度、自动化的质检能力正是深度学习所擅长的领域。本文以下部分将会先介绍深度学习的主要任务、具备优势以及基本原理，然后简单说明在工业界中的应用，最后对深度学习技术在工业中的应用进行展望。

2深度学习

深度学习代表人工智能领域中一大类依托于深度神经网络的模型。“深度”的意思，即为网络层次很深，大型的深度学习模型可以有几十甚至上百层网络。“学习”的意思，即为让模型自己“学习”，而不是再像传统的计算机应用那样需要靠人工来编码计算机程序的行为。同时，现代的高速计算设备（比如：GPU）的发展，使得 ”深度“ + ”学习“ 成为了可以在有限时间内完成的任务。正是在这样的背景之下，依托强大的算力和深层的网络，AlphaGo 能够在2016年横空出世，将深度学习带入世界的视野。一个典型的深度学习网络如下图所示：

取自FCN网络

2.1 深度学习主要任务

在当下，深度学习可以处理图像，语言，音频，视频等等不同类型的数据。理论上，只要是能够转变为电子的数据，都可以用深度学习来解决。深度学习可以完成的实际任务也是多种多样。目标检测，人脸识别，自然语言翻译，语音识别，蛋白质3D结构推理，气象推理，游戏AI，智能家电等等都是深度学习发挥的场景。

在工业质检中，目前深度学习主要的应用是在图像领域。在图像领域，主要有两个大类任务：识别物体和定位物体。识别物体就是所说的分类（classification）任务。识别任务，即判断图片中的物体是什么，或者说它应该属于哪一个类别，比如是猫还是狗。定位物体，即通常所说的分割（segmentation）或者检测（detection）任务，即在图片中找到物体的位置。进行工业质检，主要使用的是叫做目标检测（object detection）的技术。目标检测是将分类和定位结合起来，即找到要检测的目标，并且分类目标所属的类别。文章之后的内容将围绕深度学习在图片领域的目标检测任务来进行说明。一个典型的目标检测结果如下所示：

典型的目标检测，深度网络分类并定位了车、狗、人、马等目标。（图片取自百度图片）

2.2深度学习的优势

强大的“学习“能力：

人类使用计算机的初衷是让机器来帮助人类工作，甚至代替人类工作。通常，达到这样的要求，需要专业人员编写特定的程序来设计，此过程，即相当于向计算机传授“知识”，所以，实际上计算机并没有自我“学习”的过程。而深度学习则无需由人类传授“知识”，计算机完全可以通过深度网络产生强大的“自学”能力，“自学”这些“知识”，这种“自学”能力在某些领域甚至可以超越人类！下面举个例子：假设现在的任务是在一张图片判断中有没有猫。这样的任务，人类来做非常简单，但是如何让计算机去做呢？在传统软件编程方法上，必须“传授”计算机，什么是猫，或者说猫是什么样子的。自然的，也许会想到，“传授”猫的毛色是什么色，猫的眼睛应该是什么样子，猫的尾巴应该是什么样子的，猫的脸型应该是什么样子的等等，并且这些“知识”必须要准确，因为其他动物，比如狗也有类似的眼睛，毛色，尾巴等，所以必须能够区别出来。现在难度又增加，任务不仅能找到猫，还能区分出是哪个品种的猫，那么这些“知识”又不能过度精确，因为不同的种类的猫会有微小的差别。这些所谓的“知识”，在AI领域中有一个专有名词，叫做特征（feature）。这样的任务，在传统的编程上，是非常困难的，也是非常繁琐的，因为特征几乎是无数的，又是复杂的，既不能过于笼统，也不能过度精确，所以除了在极个别的，极强的限制条件下，几乎是不可能做到的。深度学习能够自主的学习这些特征而不再需要人类去手动设计，让不可能变成了可能。那么深度学习一定就是学到了刚才所说的眼睛、尾巴那些特征吗？从目前的研究成果来看，应该学到了，但是不能那么的确定。这句话的意思是，像猫这种物体，深度网络一定能够学习到外形特征，但是学习到的外形特征不一定就是眼睛，尾巴，有可能是别的，甚至有可能是人类从未注意的特征！所以说，深度网络是“黑箱”的，意思就是，网络在中间过程中和最后结束到底具体学到了什么，是难以名状的，但是它的表现确实远胜传统的方法！这是不是很像人类？人是通过什么特征认出猫是猫呢？恐怕很难说清，不同的人会说不同的答案，但是人类依然能在不到1秒的时间里完成任务。下面一个问题是，为什么AI会超过人类？因为AI能够学到人类看不到的特征。在一个复杂的场景下，即便人类也不能很快做出判断，因为没有判断的依据，所谓缺少依据其实就是未知的特征，但是深度学习是可以学到的，这些特征可以是非常抽象的特征，一些隐藏起来的特征。一般认为，越深的网络越能够学到更抽象的特征，只是限于目前的理论发展，我们还不能清晰地知道学到的是什么，但是已经可以完成任务。

强大的泛化（generalization）能力：

还是以上面猫的例子说明什么是泛化能力。上文说到，手动设计的猫的特征要准确，但是又不能过度精确。这个过度精确，说的就是泛化能力。如果过度精确，我们就说泛化能力差，因为也许特征设计的和波斯猫一点不差，但是图片里是一只橘猫，特征和波斯猫有些差别，这时，这个过度精确就会导致系统认不出这只橘猫，甚至认为这只橘猫不是猫！因为橘猫的特征的值和设计时的特征不一样，结果就是检测错误。这种问题在整个AI领域都是存在的，即网络学习的特征过度精确。所以，泛化能力说的是，模型在学习环境之外的表现，在结束了学习之后，在真实的，更广泛的场景中的表现。显然，泛化能力越高越好。实际上，我们训练深度网络，就是为了取得强大的泛化能力。那么为什么说深度学习的泛化能力强呢？因为在学习的过程中，我们可以手动给深度网络输入来自于各种各样的场景的数据，这些场景可以理解为不同的“学习材料”，这里虽然是人工的，但是我们依然没有传授网络任何“知识”，只是给了它更广泛的学习范围，学习过程仍然是网络自己完成，我们只是相当于给了网络许多不同的角度去学习同样一件事，这样学出来的网络，自然泛化能力很强。还有一类更加强大的泛化能力，叫做迁移学习（transferlearning）。这种能力是说，深度网络有“知识”累计的能力。这个意思是说，比如有个模型学会了分类500种猫，新的任务是，学会分类不同种类的老虎。这时，完全可以用刚刚学习过猫的特征的深度网络，来作为初始网络，去学习老虎的特征。这时因为猫和老虎都是属于猫科动物，它们共享了许多相似的特征，所以并不需要重头开始学习老虎的特征，这种神奇的能力，极大的提高了深度学习的效率。还记得深度网络可以学习未知的、极为抽象的特征吗？有时候我们也不知道已经训练好的网络会和新的任务共享什么样的特征，但是我们确定神奇的深度网络一定知道某些共享特征！所以，在实际中，这类迁移学习一直被广泛的使用，它有一个专有名词，叫微调（fine-tuning）。

跑不死得程序：

深度网络本质上，依然是一个计算机程序，只要是计算机程序，就可以在通电的情况下永远的执行下去，不知疲惫，稳定高效，一旦网络训练好，就可以处理海量数据，节约大量的人力、资金、时间成本。

2.3深度学习基本过程

在工业质检中运用的深度学习，主要属于一类叫做，有监督学习的范畴。有监督的意思是，在学习时，需要告诉网络哪些结果是正确的，不正确的话，差距在哪。换句话说，有监督学习就像学习有正确答案的习题册，无论怎么学，都会有正确答案来对网络进行修正。所以，除了网络本身外，我们需要许多“有正确答案的习题”，这些所谓的“习题”，其实就是我们常说的训练数据，所谓的“正确答案”，就是我们说的标签（labels）。我们把学习的过程，叫做训练（training），所以训练的基本过程就可以总结为如下：

一般来说，训练数据越多越好。训练数据越多，网络训练的越充分，学习的特征越正确，泛化能力也越强。此外，训练数据的质量越高越好，这里的质量主要指的是特征清晰度，即要检测的物体是否在图片上的特征明确。特征越清晰，说明能够用来学习训练的信息越多（对于一张图片来说具体的信息就是像素点，这些像素点其实代表的是抽象的信息，比如形状，大小等等），训练的结果越好。另外，训练数据的来源越广泛越好，越广泛，泛化能力越强，模型的实际表现越好。

3深度学习+工业质检

传统计算机视觉的方法依然属于手动设计特征，只不过这种特征是光学结合计算机图像处理的一种特征，传统计算机视觉的算法对于拥有复杂结构的物体是很难处理的很好的，对于色彩变化非常复杂的图片也很难用单一的算法找到目标。并且，这些算法的泛化能力没有保证，因为这些算法许多时候非常依赖光的亮度，当亮度改变后，算法可能会失效。总之，传统计算机视觉算法无论是精度、泛化能力还是处理复杂情况，与深度学习算法都有差距，深度学习算法是目前处理相关任务的最优解。

在工业4.0的时代，工业企业有强烈的向着高端化、自动化、智能化转型的需求。大批量的精密仪器需要进行质量检测、缺陷检测。这些设备、零部件对于质量有着极高的要求，甚至微米级的差异都会被认为是缺陷。这样的缺陷，如果靠人工，那往往只能靠着有着丰富经验的专业人员，靠着一些摸索出来的“技巧”进行筛选，精度往往难以保证。

菲特作为一家视觉智能检测解决方案提供商，已经在汽车、医疗、纺织、航天等领域拥有丰富的项目落地经验。菲特拥有一群经验丰富的光学工程师、机械工程师、软件工程师和AI算法工程师，能够为客户提供适用于各种应用场景的一整套解决方案及自动化设备。

目前，深度学习在工业质检行业中的准确率已经能平均达到95%以上，并且深度学习可以应用到大部分的工业场景，无论是异常检测、缺陷检测、甚至是自动化企业管理，深度学习都可以胜任。只要网络训练完毕，不仅能够完成当前任务，在以后产品升级换代之后，深度网络只要在稍加训练，就能很快具备对新产品的检测能力，并且，随着检测的数据越来越多，深度网络的表现会越来越好。

4展望

目前深度学习在工业质检中的挑战可能主要来自于数据本身。因为深度网络需要尽可能多的缺陷或者说次品的数据，但是，在工业中，往往正品数量是远远大于次品数量的。不过，正是因为深度学习有着迁移学习的能力，这个问题是可以通过其他的次品数据来解决的。

在面对次品数据不足这一普遍问题时，菲特拥有多种解决方案，一方面，菲特采用以泊松融合为代表的多种数据增强方式集合体，利用生成对抗网络模拟样本，以及成熟的异常检测方案等，另一方面，菲特在多个工业质检场景拥有丰富的数据集和稳定的预训练模型，有利于深度学习模型进行快速迁移学习，进一步弥补了实际场景中数据集不足的问题。

深度学习的理论与技术依然在井喷似的发展。在未来，小样本学习，无监督学习，基于3D目标的检测等等更加强大的检测技术必然会取得极大的进展。毫无疑问，以深度学习为代表的AI技术必将像曾经的互联网一样，给世界带来一场新的技术革命。菲特始终关注深度学习前沿发展方向，始终不断尝试新的算法及模型结构，并在模型测试稳定成熟后能够迅速应用并落地。菲特相信，依托于5G、量子计算机、物联网等新领域的卓越突破，深度学习必然能够帮助人类重塑世界。所以，工业界，你准备好了吗？