基于改进YOLOv8的手机屏幕玻璃缺陷检测方法

基于改进YOLOv8的手机屏幕玻璃缺陷检测方法

本发明属于涉及手机屏幕玻璃盖板品质检测;尤其涉及基于改进yolov8的手机屏幕玻璃缺陷检测方法。

背景技术:

1、手机屏幕玻璃是现代手机电子产品中关键的组成部分,也是重要的商品零件和战略性工业材料。手机屏幕玻璃的供应稳定性和品质安全对手机电子产品性能和市场稳定性具有重要影响。为了保障产品质量,需要关注手机屏幕玻璃生产链的各个环节。玻璃缺陷是手机屏幕生产过程中质量检测的重要指标之一,因此,对手机屏幕玻璃外观品质的检测具有重要的研究意义。

2、根据相关行业标准,玻璃缺陷是指玻璃受到损伤,包括划痕、气泡、裂纹、杂质和边缘破损等。传统的质量检测方法,如人工目测法、手动挑拣法和物理检测法,处理时间长、成本高且主观性强,无法满足大规模生产中对屏幕玻璃的快速、准确检测需求。

3、近年来,人工智能技术在制造业中产生了巨大的影响,基于机器学习的方法也逐渐应用于玻璃质量检测领域。目前,通过对手机屏幕玻璃图像的分析处理,提取有效特征参数(如气泡、划痕和边缘破损等),并通过模型训练实现检测。此方法克服了人工检测的缺点,具有检测速度快、无损检测等优点。然而,基于机器学习的检测方法通常需要人为提取特征并进行组合测试来选择最优特征组合,过程繁琐且模型鲁棒性较低。

4、深度学习方法可以通过卷积神经网络实现自动提取目标特征,研究者们将深度学习方法应用于电子制造领域并取得了许多研究成果。近年来,基于深度学习的检测方法在屏幕玻璃外观检测领域取得了良好发展,其中卷积神经网络(cnn)是一种常用的模型。通过训练大量的手机屏幕缺陷图像数据集,这些模型能够识别不同缺陷。然而,现有研究未能达成很好的识别效果,没有注重缺陷图像的具体语义分割,忽略了实际检测报告对缺陷面积的具体需求。

5、为了解决上述问题,本发明提出了一种基于改进yolov8的手机屏幕玻璃缺陷检测和缺陷实际面积测量方法。

技术实现思路

1、本发明的目的在于提供基于改进yolov8的手机屏幕玻璃缺陷检测和缺陷面积测量方法以解决上述背景技术中提出的现有技术中对于手机屏幕玻璃缺陷检测识别率低,及不能够同时检测出各类缺陷面积等问题,本发明通过优化检测网络模型提高了缺陷识别的准确度,并通过分割结果拟合像素值与实际面积,得到缺陷面积测量公式,为手机屏幕玻璃生产链中的质量检测任务提供一体化服务。

2、为实现上述目的,本发明采用以下技术方案实现:

3、基于改进yolov8的手机屏幕玻璃缺陷检测方法,包括以下步骤:

4、s1、构建数据集:采集模拟工业生产环境下拍摄的手机屏幕玻璃图像,构建数据集;

5、s2、改进优化yolov8目标检测网络模型:基于yolov8网络模型增加注意力模块,使用dysnakeconv卷积替代yolov8网络原来卷积,并且改进c2f模块,得到改进后的yolov8模型;

6、s3、训练改进的yolov8模型:基于s1中所构建的手机屏幕玻璃图像数据集对改进yolov8模型进行训练并验证,调整改进yolov8模型的学习参数;

7、s4、手机屏幕玻璃缺陷类别语义分割:基于s3中训练后的改进yolov8模型对待识别手机屏幕玻璃缺陷图像进行分割,得到待识别手机屏幕玻璃缺陷类别判别结果;

8、s5、手机屏幕玻璃不同缺陷实际损伤范围测量:基于各手机屏幕玻璃缺陷检测结果得到各类别手机屏幕玻璃缺陷的计数结果和像素值,建立不同类别手机屏幕玻璃缺陷在图片中所占像素面积与实际三维空间中面积之间的关系,确定采数据集所用相机的焦距、拍摄距离等参数,建立数学映射关系模型,实现各类别手机屏幕玻璃缺陷损伤范围测量。

9、优选地,所述s1具体包括如下内容:

10、s101、搭建数据图像采集平台:建立拍摄暗室,将工业相机置于暗室顶部,将手机屏幕玻璃样片放置在透明承物台上,左右侧面采用条形光源进行打光,采集若干手机屏幕玻璃图像作为原始图像数据;

11、s102、数据预处理:对原始图像数据进行数据清洗、数据转换以及数据增强,得到手机屏幕玻璃缺陷数据集;

12、s103、训练图像标注:使用labelimg软件对手机屏幕玻璃缺陷数据集中手机屏幕玻璃不同的缺陷进行标记,所述缺陷包括划痕、气泡、崩边、麻点四种类别。

13、优选地,所述s2具体包括如下内容:

14、基于yolov8模型,在其head检测头最高层处添加mca注意力模块,所述mca注意力模块使用三分支架构同时推断通道、高度和宽度维度;

15、将dysnakeconv(dsconv)融入bottleneck形成bottleneck_dysnakeconv,再作为c2f的卷积单元形成c2f_dysnakeconv(c2f_dsconv);所述c2f卷积为yolov8模型的主要卷积模块,将backbone网络层的c2f替换为c2f_dysna keconv,优化后的c2f_dysnakeconv模块融合了动态蛇形卷积,使其对小型以及线型缺陷拥有强调识别能力。

16、优选地,所述s3具体包括如下内容:

17、s301、对手机屏幕玻璃数据集按照9:1划分为训练集和验证集;

18、s302、用预训练模型的权重作为初始权重,训练每次批次(batch)的图像数量为16;输入图像尺寸imgsz:640;冻结前50个epoch的骨干网络,并进行微调,将学习率设置为1e-4,衰减率设置为0.96;解冻后学习率设置为1e-5,衰减率仍为0.96;采用训练集训练;

19、s303、通过验证集验证基于改进yolov8的手机屏幕玻璃缺陷检测模型,得出最佳训练文件。

20、优选地,所述s4具体如下内容:

21、s401、图像采集:采集待识别手机屏幕玻璃图像;

22、s402、图像标注:采用labelme标注软件对手机屏幕玻璃缺陷进行轮廓标注,同时将标注的json格式文件转化为txt格式文件,形成分割训练数据集;

23、s403、图像语义分割:采用改进yolov8-segment模型对分割训练数据集训练,再通过验证得出最佳语义分割训练文件;使用最佳语义分割训练文件对手机屏幕玻璃进行缺陷检测,结果包括缺陷的像素值,目标框的位置、类别、置信度。

24、优选地,s403中所述改进yolov8-segment模型对图像进行检测,具体包括如下内容:

25、s4031、引入特征提取器:使用深度可分离卷积(depthwise separableconvolution)替代传统的卷积操作,将卷积操作拆分为深度卷积和逐点卷积,减少计算量的同时保持特征提取能力,以提高模型的计算效率;

26、s4032、替换骨干网络;结合最新的骨干网络,例如efficientnet,利用所述骨干网络在特征提取上的优势来增强yolov8的特征表达能力。

27、优选地,所述s5具体包括如下内容:

28、s501、基于手机屏幕玻璃不同缺陷检测结果确定各类别缺陷的个数、像素值和目标框面积;

29、s502、确定采数据集所用相机的焦距、拍摄距离参数;

30、s503、确定不同类别手机屏幕玻璃缺陷在图片中所占像素面积与实际三维空间中面积之间的关系:

31、通过框选分割的目标框的范围来计算非规则分割的范围,矩形目标检测框与实际三维空间的面积的关系式如下:

32、w1i=(d*pj)/f i=1,2,...,6;j=1,2,3,...

33、

34、其中,i表示取不同的类别;d表示相机与待测手机屏幕玻璃距离;p表示手机屏幕玻璃缺陷目标框宽度长度像素值;f表示相机的焦距;

35、确定非规则缺陷图形实际三维空间的面积的关系式,具体公式如下:

36、

37、其中,s1表示分割缺陷矩形目标框的实际面积;p1表示不规则分割缺陷的总像素;p2表示分割缺陷矩形目标框的总像素值;

38、s504、评价拟合效果:

39、通过比较缺陷范围检模型的结果与实际测量到的数据之间的差异进行评估,评估方法包括均方根误差、平均绝对误差、决定系数和残差分析方法。

40、应用于上述方法中的基于改进yolov8的手机屏幕玻璃缺陷检测系统,包括:

41、手机屏幕玻璃缺陷图像采集平台,包括拍摄暗室和透明承重台,工业相机置于暗室顶部,透明承物台设置于暗室内部,透明承重台左右侧面安装条形光源;

42、图像处理模块,用于对图像进行清洗、数据增强以及数据扩充;

43、手机玻璃缺陷检测模块,通过优化卷积、增加注意力机制得到优化后的yolov8模型,用于对手机屏幕玻璃缺陷的识别检测;

44、手机屏幕玻璃缺陷类别语义分割模块,采用改进yolov8-segment网络模型对缺陷进行语义分割得到更精确的缺陷识别范围;

45、手机屏幕玻璃实际损伤范围测量模块,在缺陷分割的基础上精确测量出缺陷在实际空间中的损伤面积。

46、进一步提出一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述指令、程序、代码集或指令集由处理器加载并执行以实现如上述的基于改进yolov8的手机屏幕玻璃缺陷检测方法。

47、进一步提出一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述指令、程序、代码集或指令集由处理器加载并执行以实现如上述的基于改进yolov8的手机屏幕玻璃缺陷检测方法。

48、与现有技术相比,本发明的有益效果是:

49、(1)本发明提出一种基于yolov8的手机屏幕玻璃缺陷检测方法,选择使用yolov8作为框架基础,通过使用三分支架构同时推断通道、高度和宽度维度,几乎没有额外的计算性能开销,有效提升了模型对多维度特征的捕捉能力。此外,本发明将dysnakeconv融入bottleneck结构形成bottleneck_dysnakeconv,并在c2f卷积单元中进一步形成c2f_dysnakeconv。作为yolov8模型的核心卷积模块,backbone网络层的c2f替换为c2f_dysnakeconv后,优化的卷积单元融合了动态蛇形卷积,对小型及线型缺陷的识别能力得到了显著增强;上述改进不仅在保持高效计算性能的同时提高了检测准确率,还对小型目标和复杂形状缺陷具备更强的适应性和泛化能力,进一步提升了模型在手机屏幕玻璃质检实际应用中的表现。

50、(2)本发明中优化的语义分割模型在手机屏幕玻璃缺陷检测中具有显著优势;通过对每个像素进行分类,语义分割能够精确定位并区分玻璃表面上不同类型的缺陷,如麻点、气泡和划痕等,实现细粒度的缺陷检测;相比于传统的目标检测方法,语义分割可以捕捉到更加复杂和不规则的缺陷形状,特别适用于检测边缘不清晰或形态多变的细微缺陷;此外,语义分割能够有效处理大规模高分辨率图像,在保证精度的同时,减少误检和漏检,显著提高了手机屏幕玻璃的质量检测效率和可靠性。

51、(3)本发明中基于模型输出结果进一步实现测量缺陷损伤面积,深度学习方法在手机屏幕玻璃缺陷损伤面积测量中具有显著优势;本发明通过自动化的特征提取和学习,深度学习能够准确识别并量化玻璃表面的各种缺陷形态,不论是麻点、划痕还是气泡等细小损伤;与传统的图像处理方法相比,深度学习能够更加精确地分割和检测不规则形状的缺陷区域,并实时测量其面积,极大地提高了检测效率;此外,该方法在处理复杂背景和噪声干扰时,表现出更强的鲁棒性和稳定性,确保了测量结果的一致性与准确性,为高效、智能化的玻璃质量检测提供了强有力的技术支持。

相关文章

365bet网上足球
qq厘米秀怎么不见了

qq厘米秀怎么不见了

📅 09-29 👀 2533
365取消提款
手机如何给短信加密

手机如何给短信加密

📅 08-30 👀 1840