基于高光谱成像技术的苹果表面缺陷无损检测

孟庆龙1,2,张艳2,*,尚静1,2

(1.贵阳学院食品与制药工程学院,贵州贵阳550005;2.贵阳学院农产品无损检测工程研究中心,贵州贵阳550005)

摘 要以“红富士”苹果为研究对象,提出基于高光谱成像技术结合图像分割技术的苹果表面缺陷的无损检测方法。采用高光谱图像采集系统(400 nm~1 000 nm)采集完好无损和表面有缺陷苹果的高光谱图像;对采集到的高光谱图像进行最小噪声分离变换,提取感兴趣区域的平均光谱反射率;采用图像分割技术提出苹果表面缺陷的无损检测方法。结果表明:采用最小噪声分离变换可有效地消除苹果高光谱图像中的噪声;在700 nm~800 nm以及900 nm~1 000 nm波段范围内完好无损和表面有缺陷的苹果的光谱反射率值具有明显的差异,同时选取特征波长717.98 nm处的光谱反射率值小于0.6以及982.59 nm处的光谱反射率值大于0.52作为区分苹果正常区域和表面缺陷区域的阈值条件,进一步利用阈值分割方法对80个完好无损苹果和40个表面有缺陷苹果的正确识别率分别为97.5%和95%。表明高光谱成像技术结合图像分割技术可实现苹果表面缺陷的无损检测。

关键词高光谱成像;苹果;表面缺陷;图像分割;最小噪声分离;无损检测

苹果在生长过程中,经常会受到各种因素的影响导致苹果表面出现缺陷,从而影响苹果的外观,甚至使其丧失了可食性,极大地影响了苹果的品质和分级销售。由此可见,对新鲜苹果的表面缺陷检测显得尤为重要。传统的检测方法大多是人工操作,耗时耗力,而且效率低,无法满足大规模生产的需求。因此,开发研制一种快速、无损、高效的苹果表面缺陷检测方法在水果分级检测领域中具有较好的应用前景。近年来,基于高光谱成像技术的无损检测技术以其高效、无损、可实时在线检测等诸多优点受到科研工作者的广泛关注,被广泛应用于食品、医药和化工等各个领域[1-7]。国内外研究学者对水果的品质检测分析主要集中在水果内部品质的定量检测方面[8-13],而在水果外部品质(早期损伤和表面缺陷等)检测方面的研究相对较少。赵杰文等[14]采用高光谱成像技术,通过主成分分析提取547 nm波长下的特征图像,设计不均匀二次差分消除了苹果图像亮度分布不均匀的影响,通过合适的数字图像处理方法提取苹果的轻微损伤,得出高光谱图像技术对苹果轻微损伤的检测正确率达到88.57%。张保华等[15]利用I-RELIEF算法对正常表皮和损伤区域的光谱进行分析得出权值系数图,根据挑选出的5个特征波段和最低噪声分离变换开发了损伤苹果的识别检测算法,利用该算法对80个正常苹果和含有不同时间阶段轻微损伤的苹果进行试验,损伤识别总体正确率为97.1%。田有文等[16]采用支持向量机对苹果虫伤区域和正常区域、果梗/花萼区域进行识别,总体识别率为97.8%。已报道的文献大多采用高光谱成像技术结合图像处理技术来识别水果表面损伤或虫伤,而采用高光谱成像技术结合图像分割技术来检测水果表面缺陷的研究鲜有报道。

本研究以“红富士”苹果为研究对象,采用高光谱成像技术结合图像分割技术检测苹果表面缺陷,以期为开发苹果表面缺陷在线快速检测系统提供研究基础。

1 材料与方法

1.1 材料

“红富士”苹果:购买于当地的沃尔玛超市,在超市中挑选大小均匀一致,完好无损苹果80个和表面有缺陷的苹果40个。

1.2 高光谱图像采集系统

高光谱图像采集系统(GaiaField-F-V10):四川双利合谱科技有限公司,结构示意图如图1所示。

图1 高光谱图像采集系统示意图
Fig.1 The schematic diagram of hyperspectral imaging acquisition system

1.CCD 相机(Imperx IPX-2M30,像素为 1 392×1 040);2.成像光谱仪(Imspector V10,Spectral Imaging Ltd.,Oulu,Finland);3.镜头(HSIAOL23,焦距:23 mm);4.漫反射光源(HSIA-LS-T-200W);5.精密防尘型电动平移台(HSIA-T400-IMS);6.暗箱(Gaia Sorter);7.计算机

其中,成像光谱仪的分辨率为3.5 nm,数值孔径为F/2.8,图像空间分辨率为696×700,光谱采集范围为400 nm~1 000 nm;漫反射光源为4个200 W溴钨灯,采用梯形结构安装于暗箱中。将苹果样本放置在移动平移台上,根据试验要求,首先,调整系统参数,以确保采集的图像清晰且不失真。经过多次调整和优化,最终确定CCD相机的曝光时间是12.6 ms,相机镜头与样本距离为40cm,电动平移台的移动速度是1.35cm/s。之后对待检测样本逐一扫描,采集所有苹果样本的高光谱图像。

1.3 高光谱图像校正

由于暗箱中暗电流的存在,不同波段条件下光源强度分布不均匀以及苹果样本的形状差异等都会导致在光照强度较弱波段采集到的图像包含较大的噪声,故需对采集到的高光谱图像进行黑白校正,以消除部分噪声的影响。即在与样本采集相同的系统条件下,首先,扫描标准白色校正板,得到全白的标定图像W;然后,盖上相机的镜头盖进行图像采集得到全黑的标定图像B;最后,按照下面校正公式完成图像标定,采集得到的原始图像I变成校正图像R,即

式中:I为苹果样本的原始高光谱图像;W为白板的漫反射图像;B为暗图像;R为校正后的高光谱图像。

1.4 高光谱图像去噪

经过黑白校正后的高光谱图像仍含有一些噪声,需要对高光谱图像进行进一步去除噪声处理。最小噪声分离(minimum noise fraction,MNF)变换是将高光谱图像的主要信息集中在前面几个波段,主要作用是判断图像数据维数、分离数据中的噪声,减少后处理中的计算量。使用MNF变换从数据中消除噪声的过程:首先进行正向MNF变换,判定哪些波段包含相关图像,用波谱子集选择“好”波段或平滑噪声波段,然后进行一个反向MNF变换。

1.5 数据分析

高光谱图像数据采集软件应用的是Spectral SENS,采集得到的苹果高光谱图像数据采用ENVI 5.4,MATLAB R2016b等软件进行处理与分析。

2 结果与分析

2.1 苹果高光谱图像的掩膜

为保证高光谱图像中仅有苹果样本信息,通过求取苹果果实区域中所有采样点下光谱的平均值,构建掩膜以去除背景,使高光谱图像中仅含有苹果样本信息。即选择样本和背景反射率差异大的波段对采集的高光谱图像进行分割,当某像素对应的光谱值大于阈值时被保留,小于阈值时,被置为0。图2为苹果样本区域和背景区域的光谱反射率。

由图2可以看出,在波长660.82 nm处苹果样本区域的光谱反射率值均大于0.05,而背景区域的光谱反射率值均小于0.05。因此,在采用阈值分割方法去除背景时,选择特征波长为660.82 nm,反射率阈值为0.05,得到其中3个苹果样本的高光谱图像的掩膜如图3所示。

图2 苹果样本区域和背景区域光谱反射率曲线
Fig.2 The spectral reflectance curves of the apples and background areas

图3 苹果样本的掩膜图
Fig.3 The image of mask for apples

由图3可以看出,苹果样本区域被保留,背景区域被置为0。去除背景后的其中3个苹果样本的高光谱图像如图4所示。

图4 掩膜后得到的苹果高光谱图像
Fig.4 The hyperspectral image of apples after masking

从图4中可以看出,去除背景后的苹果高光谱图像中仅含有苹果样本,便于进一步采用阈值分割方法提取苹果样本的表面缺陷。

2.2 最小噪声分离变换

对去除背景后的苹果样本高光谱图像进行MNF变换,进一步去除苹果高光谱图像中存在的噪声。经过MNF变换之后的其中3个苹果样本的前3个MNF成分图像如图5所示。

MNF变换后的特征曲线如图6所示。

插图中的列表给出了每个MNF波段相应的特征值,以及每个MNF波段包含的数据方差的累积百分比,由图6可以看出,前15个MNF波段对应的特征值均大于1.4,且前15个MNF成分累积百分比超过95.25%(即经过MNF变化之后的前15个成分图像包含了苹果样本高光谱图像大量的有效信息)。因此,本试验选取前15个MNF成分图像进行反向MNF变换,以便消除苹果高光谱图像中存在的噪声。

图5 部分苹果样本经过MNF变换后的前3个成分图像
Fig.5 The first three component images of apples after MNF transform

图6 MNF变换后的特征曲线
Fig.6 Characteristic curve after MNF transform

图7 苹果正常区域和表面缺陷区域的光谱
Fig.7 The spectra of the normal and surface defect areas

2.3 苹果正常和表面缺陷区域的光谱特征

分别选取苹果正常区域和表面有缺陷区域中的150 个像素点作为感兴趣区域(region of interest,ROI),感兴趣区域的光谱反射率曲线如图7所示。

由图7可以看出,苹果样本正常区域和表面有缺陷区域的光谱曲线在400 nm~700 nm波段间变化趋势基本一致,但在700 nm~800 nm波段范围内,正常区域的光谱曲线整体反射率要高于表面有缺陷区域的反射率,而在900 nm~1 000 nm波段范围内,表面有缺陷区域的光谱曲线整体反射率要高于正常区域的反射率。因此,可以利用这两个波段范围的光谱反射率差异,同时选取717.98 nm处的光谱反射率值小于0.6以及982.59 nm处的光谱反射率值大于0.52作为区分苹果正常区域和表面缺陷区域的阈值条件,通过阈值分割方法识别出表面有缺陷的苹果。

2.4 苹果表面缺陷区域的识别

由苹果正常区域和表面缺陷区域的光谱特征可知在700 nm~800 nm以及900 nm~1 000 nm波段范围内苹果样本正常区域和表面有缺陷区域的光谱反射值具有明显的差异。试验选取特征波长717.98 nm处的光谱反射率值小于0.6以及982.59 nm处的光谱反射率值大于0.52作为区分苹果正常区域和表面缺陷区域的阈值条件,满足阈值条件的苹果样本区域置为1(如图8中白色部分),其他区域的被置为0(如图8中黑色部分),苹果表面缺陷识别结果如图8所示。

由图8可以看出,苹果样本1表面有3处被检测为缺陷区域,样本2表面有1处被检测为缺陷区域,样本3表面有2处被检测为缺陷区域,该方法很好地检测出表面有缺陷的苹果样本。表1进一步给出了所有苹果样本表面缺陷无损检测的正确率。

从表1中可以看出采用该检测方法能够正确检测出完好无损苹果和表面有缺陷苹果的数目分别为78个和38个,正确识别率分别达97.5%和95%。

图8 部分缺陷苹果的检测结果
Fig.8 Identification results of defect on apples

表1 完好无损和表面缺陷苹果的检测结果
Table 1 Identification results on intact and surface defect apples

样本 检测总数 误检数目 识别数目 准确率/%完好苹果 80 2 78 97.5缺陷苹果 40 2 38 95

3 结论

苹果样本高光谱图像经过MNF变换后的前15个波段对应的特征值均大于1.4,且前15个MNF成分累积百分比超过95.25%,进而选取前15个MNF成分图像进行反向MNF变换,有效地消除了苹果高光谱图像中存在的噪声。完好无损和表面有缺陷苹果的高光谱图像的光谱反射率值在700 nm~800 nm以及900 nm~1 000 nm波段范围内具有明显的差异,选取717.98 nm处的光谱反射率值小于0.6以及982.59 nm处的光谱反射率值大于0.52作为区分苹果正常区域和表面缺陷区域的阈值条件,通过阈值分割方法识别出表面有缺陷的苹果,该检测方法对80个完好无损苹果和40个表面有缺陷苹果的正确识别率分别为97.5%和95%。试验结果为开发苹果表面缺陷在线快速检测系统提供基础。

参考文献

[1] 刘民法,张令标,王松磊,等.近红外高光谱技术鉴别长枣表面的农药种类[J].食品研究与开发,2014,35(15):81-86

[2] 杨晓玉,丁佳兴,房盟盟,等.基于可见/近红外高光谱成像技术的鸡蛋新鲜度无损检测[J].食品与机械,2017,33(11):131-136

[3] YAND D,HE D D,LU A X,et al.Detection of the Freshness State of Cooked Beef During Storage Using Hyperspectral Imaging[J].Applied Spectroscopy,2017,71(10):2286-2301

[4] SINEENART S,SONTISUK T.Non-destructive quality assessment of hens′eggs using hyperspectral images[J].Journal of Food Engineering,2017,215:97-103

[5]ERKINBAEV C,HENDERSON K,PALIWAL J.Discrimination of Gluten-Free Oats from Contaminants Using Near Infrared Hyperspectral Imaging Technique[J].Food Control,2017,80:197-203

[6] MO C,KIM G,KIM M S,et al.Fluorescence hyperspectral imaging technique for foreign substance detection on fresh-cut lettuce[J].Journal of the Science of Food&Agriculture,2017,97(12):3985-3993

[7]SIEDLISKA A,BARANOWSKI P,ZUBIK M,et al.Detection of pits in fresh and frozen cherries using a hyperspectral system in transmittance mode[J].Journal of Food Engineering,2017,215:61-71

[8] 徐爽,何建国,马瑜,等.高光谱图像技术在水果品质检测中的研究进展[J].食品研究与开发,2013,43(10):4-8

[9] 詹白勺,倪君辉,李军.高光谱技术结合CARS算法的库尔勒香梨可溶性固形物定量测定[J].光谱学与光谱分析,2014,34(10):2752-2757

[10]董金磊,郭文川.采后猕猴桃可溶性固形物含量的高光谱无损检测[J].食品科学,2015,36(16):101-106

[11]Li B C,HOU B L,ZHANG D W,et al.Pears characteristics(soluble solids content and firmness prediction,varieties)testing methods basedonvisible-nearinfraredhyperspectralimaging[J].Optik,2016,127:2624-2630

[12]刘燕德,吴明明,李轶凡,等.苹果可溶性固形物和糖酸比可见/近红外漫反射与漫透射在线检测对比研究[J].光谱学与光谱分析,2017,37(8):2424-2429

[13]管晓梅,杜军,张立人,等.基于高光谱技术的果糖检测优化算法和可视化方法[J].光电子·激光,2018,29(2):173-180

[14]赵杰文,刘剑华,陈全胜,等.利用高光谱图像技术检测水果轻微损伤[J].农业机械学报,2008,39(1):106-109

[15]张保华,黄文倩,李江波,等.基于高光谱成像技术和MNF检测苹果的轻微损伤[J].光谱学与光谱分析,2014,34(5):1367-1372

[16]田有文,程怡,王小奇,等.基于高光谱成像的苹果虫伤缺陷与果梗/花萼识别方法[J].农业工程学报,2015,31(4):325-331

Nondestructive Detection of Defect on Apples Using Hyperspectral Imaging Technology

MENG Qing-long1,2,ZHANG Yan2,*,SHANG Jing1,2
(1.Food and Pharmaceutical Engineering Institute,Guiyang University,Guiyang 550005,Guizhou,China;2.The Research Center of Nondestructive Testing for Agricultural Products,Guiyang University,Guiyang 550005,Guizhou,China)

AbstractThe “Fuji”apples were taken as research object,the nondestructive detection of defect on apples was proposed based on hyperspectral imaging technology combined with image segmentation technology.And the hyperspectral imaging system was used to collect the hyperspectral image of apples with no defect and surface defect.After the minimum noise fraction(MNF)transform,the average spectral reflectance of the region of interest(ROI)was acquired.The nondestructive detection of defect on apples was proposed based on image segmentation technology and then applied on 80 no defect apples and 40 surface defect apples.Results showed that the noise of the hyperspectral image of apples can be effectively removed by MNF transform.And the no defect apples and surface defect apples had obvious reflectance value between 700 nm-800 nm and 900 nm-1 000 nm.The spectral reflectance at 717.98 nm was less than 0.6 and the spectral reflectance at 982.59 nm was greater than 0.52,which were both selected as the threshold condition to distinguish the normal region and the surface defect region of apples.The correct identification rates for no defect apples and surface defect apples reached to 97.5%and 95%,respectively.This study indicated that hyperspectral imaging technology combined with image segmentation technology was effective for identifying defect on apples.

Key wordshyperspectral imaging;apples;surface defect;image segmentation;minimum noise fraction(MNF);nondestructive detection

DOI10.3969/j.issn.1005-6521.2019.05.030

基金项目:国家自然科学基金项目(61505036);贵州省普通高等学校工程研究中心(黔教合KY字[2016]017);贵州省教育厅青年科技人才成长项目(黔教合KY字[2018]290);贵阳市科技局贵阳学院专项资金(GYU-KYZ[2018]01-08)

作者简介:孟庆龙(1989—),男(汉),讲师,博士,研究方向:高光谱成像技术和农产品无损检测。

*通信作者:张艳,女,副教授,研究方向:农产品无损检测。

引文格式:

孟庆龙,张艳,尚静.基于高光谱成像技术的苹果表面缺陷无损检测[J].食品研究与开发,2019,40(5):168-172

MENG Qinglong,ZHANG Yan,SHANG Jing.Nondestructive Detection of Defect on Apples Using Hyperspectral Imaging Technology[J].Food Research and Development,2019,40(5):168-172

收稿日期:2018-11-10