高效的工业生产须要机器视觉给出快速又精准的决策

在生产线上用于丈量的相机要能快速判断液位、尺寸，用来定位的相机系统要能快速准确的给出精确的物品位置，及时关照机器手臂在哪里探求抓取物品，用作计件考验的相机系统要能够快速打算出数量，是否溢出，用作解码识别的相机系统要能够快速准确识别二维码，字符信息等。
相机系统做出快速精准决策的关键便是图像能够清晰准确的供应这些信息，不同的检测运用对图像的分辨率、清晰度、噪声、以及相机的帧率、系统本钱等都有不同的哀求。

随着工业自动化的发展，检测种类的多样性，使令图像传感器不断的更新换代，工艺一贯在打破提升。
这个发展从安森美半导体的几代CMOS产品系列中可见一斑：在2005年推出的LUPA系列开始有了高速输出接口，接下来2010年推出的VITA系列在全局快门性能上有了很大了提升，支持卷帘快门和全局快门两种模式，在2014年推出的PYTHON系列增加了像素内图像纠正，有效的优化了全局快门传感器的噪声性能，2019年刚推出的XGS系列利用了减少节点的像素工艺对噪声和图像同等性更是有了飞跃般的提升，今后安森美半导体将会在工业级图像传感器利用背照式和堆栈式工艺来推动图像传感器的进一步发展。

随着工艺的提升，图像传感器的像元越来越小，但它却可以达到大尺寸像元的图像效果，这就使传感器的分辨率可以越做越大，带宽也越来越高，也推动了整体相机系统的提升和发展，来知足工业生产快速精确的推断和决策。

人工智能是新工具

快速精确的决策需求推动全体生态系统来实现高等数据网络和推断，供应了真正进入工业4.0的机会，人工智能(AI)正是须要的新工具，用来管理工业系统成像不断增长的数据集。
AI可以通过自适应制造、自动质量掌握、预测性掩护等方案有效地应对当今制造业面临的寻衅，如工厂中的PCB板检测、钣金毛病检测、食品卫生检测、零部件均匀度检测、平板检测的运用中，工厂操作员的疲倦会影响对产品质量的同等性评估，但是机器视觉相机和深度学习办理了这个问题。
如今，AI已用于60％以上的打算机视觉运用中，而AI在制造运用中的增长已超过50％年复合增长率。

工业中AI运用的发展给图像传感器带来了更高的寻衅，包括推动了全局快门性能、高速拍摄、高分辨率、利用不可见光谱区域和三维体积深度供应的信息进行关键推断，以及神经网络处理的发展。

全局快门：实现高速视觉成像的关键

传统的卷帘快门图像传感器可为静态或慢速移动的物体成像供应出色的灵敏度。
但全局快门在检测快速移动物体的工业运用中至关主要。
如高速装置线的机器视觉检测之类的任务须要准确的判断，全局快门图像传感器通过完备同时同步曝光捕获所有像素，来肃清利用卷帘快门传感器逐行曝光带来的空间失落真变形的效果，精确还原了运动物体的真实样子，接下来才能进行强大的AI分类打算。
如安森美半导体的全局快门图像传感器XGS 2000，以220 fps的速率捕获高质量、精确和快速移动的200万像素全局快门图像场景，可以为物流和工业扫描仪平分歧场景下运用供应清晰、低噪声的图像。

图1：卷帘快门vs. 全局快门

高速也是快速移动物体检测的工业运用另一个至关主要点。
高速装置线的机器视觉检讨须要快速的帧率和较短的积分韶光，可以利用短曝光和快速读出肃清图像模糊的效果。
工厂的视觉检测基本都是对应高速移动的物体，特殊是工厂高速运转的生产线上，传送带的速率特殊快，那么在最短的韶光内成像读出数据，减少或肃清拍摄图像中的运动模糊，才能利用AI算法实现精确的智能判断和快速决策。

市场对高分辨率的需求不断增长

越来越多的运用对分辨率有了很高的需求，例如手机/电视/电脑显示器的LCD、OLED屏幕检测。
在这检测运用中，利用相机检测显示器的输出，以查找显示亮度的均匀性、颜色准确性、线条毛病、颗粒毛病等。
这就哀求检测相机供应非常高的图像质量和高度均匀性，以确保相机中的质量问题不会被误解为显示器中的产品毛病。
显示屏实际上都由红绿蓝等多个LED子像素组成，检测系统须要能够解析所有这些子像素，以便精确成像和显示并确认设备的质量，为提高检测的精度和可靠性，行业中常日会利用图像传感器靶面的3x3，或者4x4, 乃至5x5个像元来识别显示屏设备的一个LED子像素，这就须要用到更多的传感器像元个数，并且随着显示器分辨率的不断提高-从传统高清到4k到8k乃至更高，检测相机所需的分辨率也在不断提高，才不会捐躯运用所需的高图像质量和均匀性，为AI算法的精度供应更可靠的数据支持。

又如另一个常见的工业成像运用是印刷电路板检测，以确认电路板组件上的集成元器件、电容器、电阻器等已精确安装并焊接到位。
电路板的检测速率是受图像分辨率和帧率的组合影响，图像中能够捕获的电路板尺寸面积越大，一次可以检测的电路板就越多，图像能捕获的越快，检测的效率就越高。
虽然当前市场上供应的图像传感器可以每秒输出约500或1400个像素的数据，但是安森美半导体的XGS 45000可以以靠近1900个像素/秒的速率捕获更多的图像数据用于算法判断，比竞争对手快3倍以上，图像数据宽度可以达8000个像素。
高分辨率和高带宽的结合使这种检测运用的AI算法可以更快，更有效地实行，从而提高了制造过程的生产率。

图2：XGS 45000的演示效果

再如用于监控或广播的影像运用，图像需求结合了上述性能，该运用对图像质量的哀求非常高，市场对分辨率的需求也不断增长，从高清到4K到现在的8k，高分辨率供应了更强大的图像构造和细节可以看到宽视野的能力，还供应了用于AI分类的裁剪开窗的选项，来放大感兴趣的内容。
安森美半导体的XGS 45000图像传感器实际上具有比8k***所需的分辨率更高，不仅可以利用少量裁切来供应8k***，还由于XGS 45000具有很高的带宽，它可以60帧每秒的速率供应8k***以及完全的12位输出，知足了该运用所需的高分辨率、高带宽和高图像质量。

值得一提的是，安森美半导体也供应完全的参考设计X-Cube，基于X-class图像传感器系列， 在1.1英寸光学格式供应1600万像素分辨率，供应用于机器视觉和ITS的 29 mm x 29 mm工业相机占位所需的成像细节和性能，且一个摄像机可支持多种分辨率，帮助设计职员加快开拓。

图3：高分辨率X-Cube 系统用于29 mm x 29 mm 相机设计

从仅捕获RGB信息和X,Y二维信息到添加深度信息或多光谱区域信息

除了图像传感器的性能提升，其余更为丰富的成像信息的集成也可以增强人工智能的性能，逐渐成为工业客户做出明智决策的关键。

通过对多种模式和AI处理的投资，也使得安森美半导体具备独特的上风，从仅供应三种红绿蓝(RGB)组成的成像系统发展到添加详细的光谱特色，这样可以在检测中看到RGB无法识别的地方。
利用12比特位的图像数据，可以提高识别图像的精度，从仅供应x、y二维定位信息到利用结合了深度像元技能或毫米波雷达、激光雷达技能和图像领悟后带来深度信息，可更深入地理解检测工具的全部体历年夜小高度等的信息，也便是深度学习。

以是现在图像传感器的开拓正在从仅捕获RGB信息转移到新的形式，增强的数据集供应的信息将不仅仅是颜色和二维位置。
图像传感器的厂家都在开拓新技能以获取更可靠的深度信息或者多光谱区域信息。
比如开拓通过领悟内部门歧数据流的Super Depth像元技能，开拓通过有规律的构造，调制入射光振幅或相位的衍射光栅技能，开拓基于单光子雪崩二极管(SPAD)和硅光电倍增管(SiPM)的传感器等办法来实现为图像供应更多的深度信息。

或者开拓基于等离子体波导滤波片，或以法布里-珀罗（F-P)构造事理为根本的多通道分光滤光片制造技能实现在更多的光谱区域成像的超多光谱技能。

神经网络处理

随着人工智能的发展，分类系统设计须要功能强大的图像处理单元(GPU)或张量处理单元(TPU)神经网络处理器，由于演习和推理都须要大量打算，人工智能界正在面临前所未有的算力寻衅，网络拓扑须要数亿个乘法和加法逻辑打算（MAC），须要数百万个卷积神经网络参数，就比如能实现分类/目标检测/语义分割等多目标任务的MobileNetV2构培养具有3亿个MAC打算和420万个参数，但这相对付ResNet微构造，已经是减少了9倍的打算量。

演习过程由于涉及海量的大数据和繁芜的深度神经网络构造，须要的打算规模非常弘大，常日须要GPU或云去完成，推断支配环节的打算量比较演习环节会少一些，但仍旧涉及大量的矩阵运算，常日在边缘的高功率GPU / TPU上实行以实现低延迟。
面对深度学习的演习和推断的算力需求，市场上大部分利用的是NVIDIA的GPU或google的TPU来实现。

AI的发展

要真正实现快速决策，AI也须要发展。
如今，用于成像的AI决策已从云过渡到边缘再迁移到与成像系统本身。
比如把AI的演习环节保留在GPU或云端，利用堆栈工艺可以将决策或乃至与之干系的一些预处理集成到图像传感器上，比如在传感器上集成用于图像识别的底层或者轻算力的卷积神经网络层，集成具有内存的数字矩阵乘法打算单元体系构造。
这些AI功能集成在图像传感器中都将会实现，也已经有公司发布了内置人工智能引擎的图像传感器芯片。

如安森美半导体的领悟了AI的水果新鲜度分类系统的演示，全体ECOsystem是基于安森美半导体的AR1335的相机和NVIDIA Xavier edge GPU, 利用了TensorRT版本的MobileNetV2构造来处理分类新鲜和糜烂的苹果、橘子、喷鼻香蕉等6类多达上万个CNN演习参数，可以识别三种水果及其新鲜度，这个别系的准确率达到97%以上。

图4：AI用于机器视觉，识别水果新鲜度

总结

图像传感器的开拓正在从仅供应RGB和二维坐标信息转移到新的更丰富的形式。
图像传感器可供应更多类型的数据，无论是深度数据还是增加的光谱信息，以及AI合并这些数据集并实现高等决策，从而使系统能够通过新的丈量和决策机会供应更快、更准确的结果。
安森美半导体是工业机器视觉的领袖之一，以全方位的智能感知产品阵容和领先的技能，应对工业AI运用寻衅并推进智能制造的创新。