清华大学孙富春教授团队研制了视触觉的传感装置，提出了一种利用触觉信息来检测布料构造性毛病的方法，该方法所得到的布料触觉图像不会受到待检测布料表面的染色花纹的影响，并且可以使布料的构造性毛病更加清晰明显、易于检测。
干系论文揭橥于ICRA 2021《Fabric defect detection usingtactile information》, 并得到了ICRA Automation最佳论文提名奖（4/4056）。
进一步针对在触觉方法中涌现纹理影响，提出基于把稳力机制的深度学习方法，可以有效提高模型演习的稳定性以及毛病检测结果的准确率，论文《Tactile-based Fabric Defect Detection Using Convolutional NeuralNetwork with Attention Mechanism》揭橥于IEEE Transactionson Instrumentation and Measurement。

我们将下图所示触觉传感器搭载在桌面机器臂上进行触觉数据的采集。
由机器臂掌握着在布料样品上进行随机采样。
每次机器臂都会随机选择布料样品的一个位置，然后掌握触觉传感器垂直向下以相同的压力按压布料样品，之后连接触觉传感器的电脑会自动记录传感器所获取的布料触觉图像。
一共利用了9种带有不同毛病的不同种类布料作为样品进行数据集的采集。
这些布料样品包含了各种常见的布料种类、花纹，并各自带有不同的构造性毛病。
对付每一种布料样品，选择了有缺陷的图像和正常的图像各约100张，统共得到1768张触觉图像。

同时为了进行比拟实验，在本文中还建立了布料视觉图像数据集。
其数据采集平台下图所示，在布料样品上方架设相机对每一种布料样品进行拍摄采样。
利用与触觉数据集采集时所利用的方法相同，对付采集到的图像进行人工筛选，去除掉拍摄到布料边缘的图像，之后再标注每一张图像是否包含毛病。
对付每一种布料样品，网络了有缺陷的图像和正常的图像各100张，统共得到1800张视觉图像。
数据集已公开（https://github.com/tsinghua-rll/fabric-texture-dataset）。

在利用触觉方法来做布料毛病检测时，虽然布料的构造性毛病特色会被触觉传感器放大，但是布料本身的纺织纹理特色也同样会被放大。
这意味着相较于视觉图像而言，在所得到的触觉检测图像中会包含有更为粗糙明显的纹理信息作为背景噪声。
这些噪声在一定程度上会滋扰到模型对付毛病的检测，导致检测准确率的低落。
特殊是那些对图像中的细节信息十分敏感的深层的网络模型，其演习很随意马虎受到粗糙的纹理噪声影响。
而我们人在不雅观察布料触觉图像时，之以是能够快速的找到毛病的位置，是由于我们的视觉系统无意识的忽略了图像中的背景纹理噪声，而将关注点聚焦在毛病的位置。
我们提出了基于把稳力机制的深度学习网络模型，如下图所示，可以帮助模型更方向于把稳到布料毛病的位置，从而缓解模型受到粗糙纹理噪声的滋扰。

本文中还谈论了基于触觉的布料毛病检测方法在实际运用中的可行性。
首先通过实验验证了触觉检测方法具备的理论检测效率能够知足实际生产需求，并提出了一种高效的触觉检测装置，使其实际检测效率能靠近所打算的理论检测效率。

我们提出可运用于实际产线视触觉布料检测的一种滚筒型触觉检测装置，其构造如下图所示。
该滚筒型触觉传感器的组成部分和感知事理与前述实验中所利用的触觉传感器类似，但是根据布料生产的特性将透明弹性体及其支撑构造设计为了滚筒的形状以提高检测效率。
摄像机被固定在位于滚筒中央的轴上，其始终朝向布料与滚筒打仗的一方以记录弹性体发生的形变。
利用该装置，触觉传感器就可以在布料生产的过程中持续获取经由布料的表面触觉信息，可以充分发挥检测算法的效率。
因此在利用该装置时，对付布料毛病的实际检测效率就可以靠近前述实验中所打算的理论检测效率，这为触觉方法在布料毛病检测中的实际运用供应了一种可能的办理方案。

我们研究紧张贡献可以概括为以下四点：

​

1.提出了一种利用触觉信息进行布料毛病检测的新方法，该方法有效避免了织物表面图案和环境条件等对付毛病检测算法的影响。
这可以有效提高检测算法的通用性和鲁棒性。
同时通过实验证明，触觉检测方法比起视觉方法来说有更高的检测准确率。

​

2.针对所提出的触觉方法中，布料纹理较为粗糙的触觉信息对模型演习以及检测准确率造成影响的问题，提出了更加适应触觉数据集的毛病检测算法。
为模型引入了把稳力机制，这可以有效避免触觉纹理信息对检测模型的影响，从而提高触觉方法的演习稳定性和检测准确率。

​

3.建立了一个布料触觉数据集，包含有在9种带有不同构造性毛病的布料上分别采集的有缺陷和无毛病的触觉数据。
同时，还相应地在这9种布料上采集了布料视觉数据作为视觉数据集，该视觉数据集可以用于对照实验利用。

​

4.谈论了触觉方法在实际布料生产中运用可行性。
首先通过实验，对触觉方法的理论检测效率进行了验证。
之后，设计了一种能够很好地适应触觉传感器特性的新型布料毛病检测装置，该装置能够大幅提高对布料的实际检测效率。
上述谈论为触觉检测方法在布料生产过程中的实际运用供应了可行的办理方案。

参考文献：

B. Fang, X. Long, F. Sun, H. Liu, S. Zhang and C. Fang, "Tactile-based Fabric Defect Detection Using Convolutional Neural Network with Attention Mechanism," in IEEE Transactions on Instrumentation and Measurement, doi: 10.1109/TIM.2022.3165254.​

​

​本文由CAAI认知系统与信息处理专委会供稿