颗粒物包装袋智能识别与摆正方法研究

廖  飘  宋京伟

华东交通大学机电与车辆工程学院

江西 南昌 330013

摘 要：目前包装流水线无法识别颗粒物包装袋的位置，易导致包装袋出现折叠、破损及泄漏等问题。现采用图像传感器获取流水线上包装袋的图像，对其先进行灰图化、中值滤波、小波降噪处理，再进行图像二值化处理，用Sobel算子提取包装袋边缘信息，得到包装袋图像的四个顶点与中心点坐标，并计算出包装袋偏斜角度及偏移距离，由系统控制机械臂抓取包装袋进行平移、旋转操作，实现颗粒物包装袋的智能识别与摆正。最后，成功研制出实验样机，实验操作证明机器视觉技术可以解决包装袋的智能识别问题，为包装流水线的智能化系统设计奠定了基础。

关键词：颗粒物包装袋；识别；摆正；Sobel算子；机械臂

 

Particle Packing Bags Intelligent Identificationand Straighten Method Research

Liao Piao  SongJingwei

 School of Mechanical & Vehicle Engineering

 East ChinaJiaotong University,

JiangxiNanchang 330013

Abstract：At present, packagingline cannot identify the position and orientation of the particle packagingbag. It easily leaded to the appearance of the packaging bag folding, brokenbags and leakage and other issues. In this paper, the image sensor was used toget the image of the packaging bag on the assembly line. The figure wasprocessed by graying, median filtering and wavelet denoising. It was treated asbinary images. The sobel operator was used to extract edge information ofpackaging bag. Four vertex and center point coordinates of the image of thepackage bag was got. And calculated the deviation angle and the offset distanceof the package bag. System controlled robot arm grab bags for translation,rotation operation. Particle packing bags intelligent identification andstraighten was realized. Finally, a prototype system was successfullydeveloped. The experimental operation proves that the machine vision method cansolve the problem of the intelligent identification of the packaging bag. ItLays the foundation for the intelligent system design of packaging assemblyline.

Key words：particle packing bag; recognition; straighten; Sobeloperator; manipulator arm 

0  引言

机器视觉技术在现代工业自动化生产中被广泛应用于各种事物的检查、测量和识别。比如，李萌等人^[1]针对目前铝塑泡罩药品包装检测系统存在漏检、误检等问题，提出了利用机器视觉技术对铝塑泡罩药品包装是否达标进行检测；陈慧丽等人^[2]采用机器视觉技术代替人眼，对方便面包装内是否有调料进行检测；张树君等人^[3]针对产品标签是否存在误贴、漏贴、贴歪等问题，研发了一款以机器视觉技术为基础的产品标签检测设备；在药品装盒或者装罐生产中，由于药片尺寸较小，严重影响人员的计数准确性，为此，贾雄^[4]利用图像处理技术来解决药片计数难的问题；黄丹平等人^[5]研发了一套基于机器视觉技术的瓦楞纸板自动计数设备，从而解决了瓦楞纸板数量难以统计的问题；夏天煜等人^[6]利用智能相机及配套的视频软件In-Sight4.1.0，解决了在线生产的食盐包装袋容易折叠的问题。

颗粒物包装袋在流水线生产中，容易出现折叠、歪斜等问题，严重影响包装袋的计数以及包装袋的后续装箱。然而，目前相关研究大多侧重于盒装、灌装等包装的识别与装箱。因此，本文在上述研究背景下，针对颗粒物包装袋的识别与摆正问题，将机器视觉技术与机械臂运动原理相结合，先智能识别包装袋的位姿信息，再利用机械臂进行摆正操作，最后对实验样机进行研制，对颗粒物包装袋进行摆正实验。

 

1  颗粒物包装袋的识别与摆正系统

颗粒物包装袋的识别与摆正系统由电源模块、光电检测模块、传送带装置、上位机识别模块、下位机控制器、机械臂摆正模块等组成。其中，电源模块由电源器（24 V、5 A）、降压模块、稳压模块组成，为系统各个模块提供合适、稳定的电源。模拟的包装袋流水线传送带装置由皮带、轴承、轴、滚筒、电机、电机驱动器等构成。上位机识别模块由CCD图像传感器和上位机组成，而机械臂摆正模块主要由电机、真空管、驱动器、机械臂机械结构等组成。其系统框图如图1所示。

该系统通过光电检测模块检测包装袋到达的指定位置信息，并利用该信息来控制上位机识别模块对包装袋图像进行识别，而上位机将识别的结果经串口传送给下位机控制系统。下位机读取识别结果，并将其转换为机械臂、传送带控制指令，以此实现颗粒物包装袋的摆正操作。

 

2  包装袋空间位置变换

颗粒物包装袋经过两个光电传感器下方时，下位机将控制机械臂抓取颗粒物包装袋。机械臂对包装袋进行摆正的过程中，由于传送带仍以原定速度进行传输操作，则机械臂通过旋转操作将颗粒物包装袋放至传送带原位置处。

由于颗粒物包装袋以任意位置进入到传送带，因此需对包装袋空间位置进行变换。该系统将其空间位置转换为坐标系空间，其处理思路为将原坐标系平移至包装袋所处位置，包装袋在平移后的坐标系下进行旋转，再将坐标系平移回原始坐标系，即将颗粒物包装袋从标准位置变换到初始位置，再变换到标准位置。包装袋平移、旋转如图2所示。

该系统当颗粒物包装袋处于摄像头正下方且无偏斜角度时建立坐标系X₃OY₃，当颗粒物包装袋偏移，以任意位置进入摄像头正下方时，以该包装袋的中心建立坐标X₄O′Y₄。为了表示颗粒物包装袋空间位置的变换关系，该系统取颗粒物包装袋P点进行表示。设P点在原坐标（X₃OY₃）中的坐标为（x，y），而颗粒物包装袋处于任意位置时，则原P点平移至P′，则P′在坐标系X₄O′Y₄中的坐标为（x₁，y₁）。设P平移至P′点的距离可用两坐标系原点平移进行表示，则O′相对O点的X轴偏移量为a，Y轴的偏移量为b，则：

                      以矩阵的形式表示： 

   因此，空间P点旋转到P′，可以将其分成3个步骤来完成：

（1）将坐标系X₃OY₃变成X₄O′Y₄；

（2）将点P顺时针旋转θ角（类似于颗粒物包装袋旋转）；

（3）将坐标系X₄O′Y₄平移回原坐标系X₃OY₃，该变换过程用如下变换矩阵表示。

式（3）变换后的结果为：

                       

3  包装袋图像采集及算法处理

3.1  包装袋图像采集

常用的图像传感器有COMS摄像头和CCD摄像头。其中，COMS摄像头成像质量较差、分辨率低，易受外界环境干扰；而CCD摄像头能够保持信号在传输过程中不失真，不容易出现坏点现象。因此，该系统选用CCD图像传感器。上位机发送指令，操作CCD图像传感器拍摄包装袋照片，再读取CCD图像传感器所拍摄的图片信息，之后保存颗粒物包装袋图片，最后发送关闭摄像头的指令。

3.2  图像处理与信息提取

图像采集获得了颗粒物包装袋的全彩图片，将其转换为双精度图像，经过灰图化处理后，再采用小波除噪、中值滤波的方法提高图像质量，获得包装袋图像的数字矩阵表示形式，再进一步用双三次插值及Sobel算子方法对图像进行边缘提取，获取颗粒物包装袋的边缘信息，即图2所示A′、B′、C′、D′四个点的坐标。

包装袋在传送带运输中的位置是随机放置的，因此必须获取包装袋偏斜角度及偏移距离。在获得包装袋边缘信息后，提取包装袋图像的四个顶点坐标，然后利用A′与B′、C′与D′的坐标分别求出A′B′与C′D′两条直线的方程，而两条直线的交点为颗粒物包装袋的几何中心，再进一步计算包装袋偏斜角度及偏移距离，其具体算法思路如下：

（1）通过搜索找出二值图像BW1数组中值为1的元素，并分别生成元素行、列下的数组row、col。原设定的坐标系的原点坐标为（row/2，col/2）。

（2）利用最大、最小函数，求出包装袋顶点坐标。其中，

x_a=min（col），

x_c=max（col），

y_d=min（row），

y_b=max（row）；

利用所求的x_a、x_c、y_d、y_b的值求y_a、y_c、x_b、x_d，

可得，

y_a=max（find（BW1（:，x_a）==1）），

y_c=min（find（BW1（:，x_c）==1）），

x_b=min（find（BW1（y_b，:）==1）），

x_d=min（find（BW1（y_d，:）==1））。

（3）利用包装袋四个顶点的坐标，求解包装袋的几何中心坐标。直线AC的方程为：

直线BD的方程为：

包装袋几何中心为直线AC与BD的交点，因此，将两个直线方程联立求解可得包装袋的几何中心坐标，即（x_o，y_o）。

（4）求颗粒物包装袋偏移的距离。设定原坐标系的原点坐标为（row/2，col/2），而在（3）中求得的包装袋几何中心点的坐标为（x_o，y_o）。因此，颗粒物包装袋偏移设定坐标系中心的距离为

然后利用偏移距离对包装袋进行平移操作。

（6）包装袋偏斜方向判断。获取包装袋偏斜角度之后，对二值化图像进行旋转处理，并按旋转处理后的结果重复上述操作进行验证，同时对包装袋的标识点进行提取及判断。

 

4  样机研制与实验验证

4.1  样机研制

为了检验上述方法应用于颗粒物包装袋识别与摆正的可行性，我们研制了一套用于颗粒物包装袋流水生产线的模拟样机。样机主要由传送带装置、机械臂摆正模块、上位机识别模块、直流电机驱动器、光电检测模块等组成。光电检测模块检测包装袋到达指定位置的信息，控制传送带传输速度及摄像头工作的开启，上位机读取图像传感器拍摄的照片，经过上位机识别处理，将包装袋位姿信息经串口发给下位机控制器，控制器控制机械臂摆正装置对颗粒物包装袋进行摆正操作。模拟样机如图3所示。

4.2  实验验

试验样机制作完成后，需对任意位置的颗粒物包装袋进行识别实验。将颗粒物包装袋放置在偏离设定坐标系原点的地方，开启系统电源，传送带将包装袋运输至光电传感器、图像传感器可检测的范围内。图像传感器将拍摄的包装袋图像传输给上位机，上位机识别的原图如图4（a）所示，原图经灰图化、滤波、边缘提取，得到包装袋的二值化图像。再利用矩阵变换及图像几何变换函数，对颗粒物包装袋图像进行旋转和平移操作，其处理结果如图4（c）和（d）所示。

 

5  结语

本文针对包装流水生产线中颗粒物包装袋存在的识别问题展开探讨，提出了利用机器视觉技术对颗粒物包装袋进行识别与摆正的设想。经过模拟样机的实验表明，机器视觉技术能实现对处于任意位置的包装袋进行识别与摆正的操作。本研究可以解决药品包装后续处理中需要包装袋处于一致方向的问题，为颗粒物包装袋类型的识别与摆正研究奠定了理论基础。

 

[参考文献]

[1] 李萌，孙铁波.基于机器视觉的铝塑药品包装在线检测系统[J].塑料工业，2016，44（4）：138-141.

[2] 陈慧丽，李继伟.基于机器视觉的方便面包装品质检测系统设计[J].包装工程，2017，38（13）：159-163.

[3] 张树君，辛莹莹，陈大千.基于机器视觉的饮料瓶标签检测设备[J].食品研究与开发，2014，35（3）：134-136.

[4] 贾雄，叶邦彦.基于图像处理的药片计数系统设计[J].电子设计工程，2013，21（12）：67-69.

[5] 黄丹平，廖世鹏，于少东，等.基于机器视觉瓦楞纸板自动计数系统研究[J].机械工程学报，2017，55（10）：79-86.

[6] 夏天煜，汤晓华，李可，等.在线智能视觉检测系统在小包装食盐装箱中的应用[J].北京工商大学学报（自然科学版），2011，29（5）：61-64.

 

作者1简介：

廖飘（1992—），男，江西新余人，硕士研究生

研究方向：

设备状态监测与智能诊断技术

作者2简介：

宋京伟（1956—），男，江苏无锡人，教授，博士

研究方向：

机电设备状态监测与智能诊断技术