本發(fā)明涉及圖像缺陷檢測(cè)，具體涉及基于圖像處理的藥品顆粒智能檢測(cè)系統(tǒng)及方法。

背景技術(shù)：

1、藥品顆粒質(zhì)量檢測(cè)是制藥生產(chǎn)過(guò)程中的核心環(huán)節(jié)，直接關(guān)系到藥品的安全性和療效穩(wěn)定性；隨著藥品生產(chǎn)規(guī)模的擴(kuò)大與質(zhì)量控制標(biāo)準(zhǔn)的提升，傳統(tǒng)依賴(lài)人工目檢或半自動(dòng)設(shè)備的方法逐漸難以滿(mǎn)足高精度、高效率的質(zhì)檢需求；近年來(lái)，圖像處理技術(shù)、機(jī)器學(xué)習(xí)算法與工業(yè)檢測(cè)設(shè)備的深度融合為自動(dòng)化檢測(cè)提供了新方向，但藥品顆粒表面的微裂紋、異物附著等缺陷在復(fù)雜背景（如非均勻光照、高噪聲、弱對(duì)比度）下的檢測(cè)仍面臨挑戰(zhàn)。

2、公告號(hào)為cn118527377b的中國(guó)發(fā)明專(zhuān)利申請(qǐng)中公開(kāi)了一種殘片檢測(cè)剔除裝置及方法，該方法包括從通過(guò)網(wǎng)紋投影照明的高清相機(jī)獲取預(yù)定區(qū)域的圖像序列；對(duì)圖像序列進(jìn)行預(yù)處理和初步分割，得到分割后的藥片的二維圖像掩碼，結(jié)合二維圖像掩碼構(gòu)建藥片的二維和三維數(shù)據(jù)集；基于二維和三維數(shù)據(jù)集，進(jìn)行圖像配準(zhǔn)和融合，并進(jìn)行精細(xì)分割、紋理分析、形狀分析和光譜特征提取，獲得藥片綜合數(shù)據(jù)集；讀取綜合數(shù)據(jù)集，并調(diào)用預(yù)配置的綜合缺陷特征向量，采用集成學(xué)習(xí)模塊對(duì)精細(xì)模塊進(jìn)行精細(xì)分類(lèi)，并根據(jù)精細(xì)分類(lèi)結(jié)果評(píng)估缺陷嚴(yán)重程度，給出藥片的整體質(zhì)量評(píng)分；若整體質(zhì)量評(píng)分小于閾值，則向剔除機(jī)構(gòu)發(fā)出剔除指令；通過(guò)純視覺(jué)剔除殘片，解決了光電計(jì)數(shù)器容易被灰塵遮擋，導(dǎo)致計(jì)數(shù)和檢測(cè)錯(cuò)誤的問(wèn)題。

3、隨著制藥工業(yè)智能化與自動(dòng)化需求的提升，開(kāi)發(fā)高效、精準(zhǔn)的智能檢測(cè)系統(tǒng)成為行業(yè)迫切需求，本發(fā)明通過(guò)結(jié)合多尺度殘差增強(qiáng)、結(jié)構(gòu)引導(dǎo)濾波、分層輪廓演化及圖神經(jīng)網(wǎng)絡(luò)（gnn）等技術(shù)，旨在優(yōu)化藥品顆粒缺陷檢測(cè)的精度與適應(yīng)性，為制藥產(chǎn)線質(zhì)量控制的標(biāo)準(zhǔn)化與智能化提供技術(shù)支撐。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明目的是針對(duì)背景技術(shù)中存在的問(wèn)題，提出一種基于圖像處理的藥品顆粒智能檢測(cè)系統(tǒng)及方法。

2、本發(fā)明的技術(shù)方案：一種基于圖像處理的藥品顆粒智能檢測(cè)方法，包括以下具體實(shí)施步驟：

3、s1、采集流水線上的藥品顆粒的原始圖像；

4、s2、通過(guò)構(gòu)建多尺度高斯模糊圖像提取細(xì)節(jié)殘差，加權(quán)融合多尺度殘差信息增強(qiáng)圖像微結(jié)構(gòu)，結(jié)合局部對(duì)比度歸一化提升區(qū)分度，采用空間-像素聯(lián)合引導(dǎo)濾波器抑制噪聲并保留邊緣，最終通過(guò)自適應(yīng)融合策略生成增強(qiáng)圖像；

5、s3、通過(guò)方向感知多尺度結(jié)構(gòu)梯度生成主結(jié)構(gòu)響應(yīng)圖，結(jié)合區(qū)域形狀先驗(yàn)構(gòu)建邊緣置信融合圖，采用分層輪廓演化模型與動(dòng)態(tài)閾值策略，基于區(qū)域均值和局部紋理方差自適應(yīng)調(diào)整分割閾值，輸出分割掩膜；

6、s4、基于分割掩膜構(gòu)建邊界相對(duì)位勢(shì)場(chǎng)，結(jié)合多方向紋理擾動(dòng)強(qiáng)度計(jì)算，捕捉缺陷對(duì)方向一致性的破壞，通過(guò)加權(quán)融合擾動(dòng)圖與位勢(shì)圖生成紋理增強(qiáng)特征圖，提取區(qū)域平均擾動(dòng)強(qiáng)度、標(biāo)準(zhǔn)差、偏度及峰度構(gòu)建區(qū)域級(jí)缺陷感知紋理特征向量；

7、s5、通過(guò)構(gòu)建紋理異常密度映射與形態(tài)異構(gòu)度參數(shù)，融合紋理-形態(tài)聯(lián)合評(píng)分，基于動(dòng)態(tài)閾值統(tǒng)計(jì)判別缺陷區(qū)域，并基于圖結(jié)構(gòu)的多類(lèi)別缺陷分類(lèi)方法，結(jié)合圖神經(jīng)網(wǎng)絡(luò)gnn建模區(qū)域間空間語(yǔ)義關(guān)系，識(shí)別缺陷類(lèi)別；

8、s6、對(duì)已判別出缺陷的顆粒執(zhí)行結(jié)果標(biāo)注與可視化處理，輸出可追溯的缺陷檢測(cè)報(bào)告。

9、優(yōu)選的，加權(quán)融合多尺度殘差信息增強(qiáng)圖像微結(jié)構(gòu)的增強(qiáng)過(guò)程如下：

10、s21、基于原始圖像i(x,y)，構(gòu)建若干個(gè)尺度的高斯模糊圖像：；

11、其中，表示二維高斯核函數(shù)，其標(biāo)準(zhǔn)差控制模糊程度，i=1、2、…、n；表示二維卷積操作；n表示不同模糊尺度；表示在尺度下模糊后的圖像；

12、s22、將原圖像與各尺度模糊圖像進(jìn)行差分操作，提取對(duì)應(yīng)尺度下的細(xì)節(jié)殘差信息：；

13、隨后將多尺度殘差進(jìn)行加權(quán)融合，形成增強(qiáng)圖像：

14、；

15、其中，表示尺度下的細(xì)節(jié)殘差圖；表示對(duì)應(yīng)尺度下的殘差信息權(quán)重，；表示融合多尺度細(xì)節(jié)信息后的圖像增強(qiáng)結(jié)果。

16、優(yōu)選的，通過(guò)自適應(yīng)融合策略生成增強(qiáng)圖像的增強(qiáng)過(guò)程如下：

17、b1、采用局部對(duì)比度歸一化方法對(duì)圖像進(jìn)行標(biāo)準(zhǔn)化：；

18、其中，表示對(duì)比度調(diào)節(jié)后的標(biāo)準(zhǔn)化圖像；表示以點(diǎn)(x,y)為中心、半徑r的鄰域平均值；表示以點(diǎn)(x,y)為中心、半徑r的鄰域標(biāo)準(zhǔn)差；表示極小正數(shù)；

19、b2、采用結(jié)構(gòu)引導(dǎo)濾波器去除隨機(jī)噪聲但保留結(jié)構(gòu)邊緣：

20、；

21、；

22、其中，表示以像素p=(x,y)為中心的局部窗口；表示空間-像素值聯(lián)合引導(dǎo)權(quán)重；表示空間域的標(biāo)準(zhǔn)差；表示像素強(qiáng)度差異的標(biāo)準(zhǔn)差；表示歸一化因子；表示自然指數(shù)函數(shù)；表示去噪后圖像；p表示當(dāng)前像素坐標(biāo)，p=(x,y)；q表示鄰域像素坐標(biāo)，q=(i,j)；

23、b3、將原始圖像與結(jié)構(gòu)保持圖融合生成最終增強(qiáng)圖像：

24、；

25、其中，表示最終輸出圖像；表示融合權(quán)重系數(shù)，。

26、優(yōu)選的，邊緣置信融合圖的生成過(guò)程如下：

27、s31、采用方向感知的多尺度結(jié)構(gòu)梯度提取算子，構(gòu)建結(jié)構(gòu)響應(yīng)圖：

28、；

29、其中，表示制定的主方向；s表示尺度參數(shù)，；表示方向-尺度結(jié)構(gòu)梯度算子；表示在方向θ、尺度s下的梯度響應(yīng)圖；

30、隨后融合多尺度響應(yīng)得到主結(jié)構(gòu)響應(yīng)圖：；

31、s32、構(gòu)建局部區(qū)域先驗(yàn)圖：；

32、其中，表示以點(diǎn)(x,y)為中心、半徑r的鄰域；和分別表示鄰域灰度均值與標(biāo)準(zhǔn)差；表示區(qū)域形狀先驗(yàn)響應(yīng)圖；

33、s33、結(jié)合主結(jié)構(gòu)響應(yīng)圖與區(qū)域形狀先驗(yàn)響應(yīng)圖，融合得到邊緣置信融合圖：；

34、其中，表示歸一化函數(shù)，映射值域至[0,1]；表示邊緣和區(qū)域響應(yīng)的融合權(quán)重，；表示最終邊緣置信圖。

35、優(yōu)選的，分割掩膜的分割過(guò)程如下：

36、將邊緣置信圖輸入到分層輪廓演化模型中，采用動(dòng)態(tài)閾值策略進(jìn)行區(qū)域分割：

37、；

38、；

39、其中，k表示當(dāng)前分割層級(jí)；表示第k層的分割掩膜，值為1表示屬于該層目標(biāo)；表示在第k層下的動(dòng)態(tài)閾值，基于區(qū)域均值、局部紋理方差自適應(yīng)設(shè)定：表示第k層的分割靈敏度控制參數(shù)。

40、優(yōu)選的，區(qū)域級(jí)缺陷感知紋理特征向量的構(gòu)建過(guò)程如下：

41、s41、基于分割掩膜，構(gòu)建每個(gè)候選區(qū)域到其輪廓邊界的相對(duì)位勢(shì)場(chǎng)，捕捉區(qū)域內(nèi)部朝邊界方向的紋理衰減趨勢(shì)：；

42、其中，表示區(qū)域k內(nèi)像素點(diǎn)(x,y)的邊界相對(duì)位勢(shì)；表示從點(diǎn)(x,y)到對(duì)應(yīng)區(qū)域邊界的歐式距離；表示控制距離衰減速度的高斯尺度參數(shù)；

43、s42、在每個(gè)區(qū)域中，沿多個(gè)方向計(jì)算局部紋理擾動(dòng)強(qiáng)度：

44、；

45、其中，i(x,y)表示原始圖像灰度值；表示方向θ對(duì)應(yīng)的像素偏移量；表示在方向θ上的紋理擾動(dòng)強(qiáng)度；

46、隨后計(jì)算綜合擾動(dòng)圖：；

47、s43、將擾動(dòng)圖與相對(duì)位勢(shì)圖加權(quán)融合，將區(qū)域位勢(shì)引入紋理擾動(dòng)建模中，形成紋理增強(qiáng)特征圖：；

48、其中，表示區(qū)域k的紋理位勢(shì)融合圖；表示位勢(shì)權(quán)重調(diào)節(jié)因子，；

49、s44、對(duì)每個(gè)區(qū)域sk的紋理融合特征圖進(jìn)行統(tǒng)計(jì)編碼：；；

50、其中，表示區(qū)域平均擾動(dòng)強(qiáng)度；表示標(biāo)準(zhǔn)差；表示偏度；表示峰度，表征紋理集中趨勢(shì)；表示區(qū)域級(jí)缺陷感知紋理特征向量。

51、優(yōu)選的，缺陷區(qū)域的識(shí)別過(guò)程如下：

52、s51、構(gòu)建紋理異常密度映射函數(shù)：；

53、其中，表示歸一化后紋理異常密度指標(biāo)；

54、s52、計(jì)算區(qū)域的幾何形態(tài)參數(shù)：；

55、其中，表示區(qū)域輪廓周長(zhǎng)；表示區(qū)域面積；表示形態(tài)異構(gòu)度；

56、s53、構(gòu)建聯(lián)合判別評(píng)分函數(shù)：

57、；

58、其中，表示區(qū)域綜合缺陷評(píng)分；表示紋理與形態(tài)的協(xié)同權(quán)重，；

59、s54、構(gòu)建基于得分分布統(tǒng)計(jì)的動(dòng)態(tài)判別策略：

60、；；

61、其中，和分別表示所有區(qū)域評(píng)分的均值與標(biāo)準(zhǔn)差；表示動(dòng)態(tài)閾值；表示最終區(qū)域缺陷判別標(biāo)簽；

62、當(dāng)識(shí)別的最終區(qū)域缺陷判別標(biāo)簽為“異?！睍r(shí)，執(zhí)行基于圖結(jié)構(gòu)的多類(lèi)別缺陷分類(lèi)方法，識(shí)別最終缺陷類(lèi)別；反之，則直接輸出當(dāng)前藥品顆粒正常結(jié)果。

63、優(yōu)選的，基于圖結(jié)構(gòu)的多類(lèi)別缺陷分類(lèi)方法的實(shí)施過(guò)程如下：

64、a1、構(gòu)建區(qū)域圖結(jié)構(gòu)g=(v,e)：

65、圖節(jié)點(diǎn)v={}：每個(gè)節(jié)點(diǎn)對(duì)應(yīng)提取的缺陷區(qū)域，節(jié)點(diǎn)特征為：

66、；

67、其中，表示歸一化后紋理異常密度指標(biāo)；表示區(qū)域綜合缺陷評(píng)分；表示形態(tài)異構(gòu)度；表示輪廓緊湊度；表示區(qū)域重心坐標(biāo)；

68、圖邊e構(gòu)建：構(gòu)建圖邊的策略為語(yǔ)義空間約束+紋理相似性聯(lián)合策略：

69、；

70、其中，表示區(qū)域i和j的重心歐氏距離；表示余弦相似度；和分別表示空間閾值與相似度閾值；表示節(jié)點(diǎn)i和j之間的邊；

71、a2、圖注意力神經(jīng)網(wǎng)絡(luò)分類(lèi)推理

72、采用多層圖注意力網(wǎng)絡(luò)進(jìn)行節(jié)點(diǎn)特征傳播與缺陷分類(lèi)預(yù)測(cè)：

73、；

74、其中，表示節(jié)點(diǎn)k在第l+1層的表示，初始為；表示第l層線性映射矩陣；表示節(jié)點(diǎn)k的鄰居節(jié)點(diǎn)集合；表示注意力權(quán)重；表示leakyrelu激活函數(shù)；

75、最終層輸出為softmax分類(lèi)概率向量：

76、；

77、其中，表示gnn最后一層節(jié)點(diǎn)輸出；表示節(jié)點(diǎn)屬于第c類(lèi)的概率；

78、a3、根據(jù)分類(lèi)概率向量輸出的最大值確定最終缺陷類(lèi)別：

79、；；

80、其中，表示區(qū)域最終缺陷類(lèi)別；表示缺陷置信度評(píng)分。

81、優(yōu)選的，制定的主方向θ包括。

82、本發(fā)明的技術(shù)方案：一種基于圖像處理的藥品顆粒智能檢測(cè)系統(tǒng)，其用于執(zhí)行一種基于圖像處理的藥品顆粒智能檢測(cè)方法，包括：

83、圖像采集模塊，用于采集流水線上的藥品顆粒的原始圖像；

84、預(yù)處理模塊，用于采用多尺度殘差信息增強(qiáng)與結(jié)構(gòu)保持自適應(yīng)濾波方法，動(dòng)態(tài)融合不同尺度殘差信號(hào)并利用局部對(duì)比度歸一化提升微結(jié)構(gòu)區(qū)分度，結(jié)合空間-像素聯(lián)合引導(dǎo)濾波器抑制噪聲并保留邊緣，最終輸出增強(qiáng)后的去噪圖像；

85、輪廓提取模塊，用于融合方向感知的多尺度結(jié)構(gòu)梯度、區(qū)域形狀先驗(yàn)及邊緣置信度響應(yīng)，通過(guò)分層輪廓演化模型結(jié)合動(dòng)態(tài)閾值策略，自適應(yīng)分割藥品顆粒主輪廓與微裂紋，生成分割掩膜；

86、缺陷分析模塊，用于基于邊界相對(duì)位勢(shì)圖引導(dǎo)的多尺度方向紋理感知方法，量化缺陷區(qū)的梯度擾動(dòng)、結(jié)構(gòu)不連續(xù)性及局部對(duì)比度變化，通過(guò)統(tǒng)計(jì)嵌套融合紋理、形態(tài)與空間分布特征構(gòu)建聯(lián)合判別評(píng)分，并引入圖神經(jīng)網(wǎng)絡(luò)建模區(qū)域間空間語(yǔ)義關(guān)系，實(shí)現(xiàn)微小、弱顯著缺陷的魯棒識(shí)別與多類(lèi)別分類(lèi)；

87、結(jié)果輸出模塊，用于對(duì)檢測(cè)結(jié)果進(jìn)行標(biāo)注與可視化處理，生成包含缺陷評(píng)分、類(lèi)別標(biāo)簽及空間位置的可追溯報(bào)告，支持藥品顆粒質(zhì)量溯源與自動(dòng)化分揀決策。

88、與現(xiàn)有技術(shù)相比，本發(fā)明的上述技術(shù)方案具有如下有益的技術(shù)效果：

89、本發(fā)明設(shè)計(jì)了一種基于圖像處理的藥品顆粒智能檢測(cè)系統(tǒng)及方法，通過(guò)多尺度殘差信息增強(qiáng)與結(jié)構(gòu)保持自適應(yīng)濾波，有效提升了圖像中微結(jié)構(gòu)的可辨識(shí)度并抑制非均勻噪聲干擾；采用方向感知結(jié)構(gòu)梯度與區(qū)域形狀先驗(yàn)融合的分層輪廓演化模型，能夠?qū)崿F(xiàn)對(duì)藥品顆粒主輪廓及微裂紋的精確提??；引入邊界相對(duì)位勢(shì)圖引導(dǎo)的多尺度紋理感知方法，提高了對(duì)微小、弱顯著缺陷區(qū)域的敏感識(shí)別能力；通過(guò)圖神經(jīng)網(wǎng)絡(luò)構(gòu)建區(qū)域間的空間語(yǔ)義依賴(lài)關(guān)系，實(shí)現(xiàn)了多類(lèi)別缺陷的高精度分類(lèi)；系統(tǒng)整體具備檢測(cè)精度高、適應(yīng)性強(qiáng)、魯棒性好及自動(dòng)化程度高等優(yōu)點(diǎn)，顯著提升了藥品顆粒質(zhì)量檢測(cè)的智能化水平和工業(yè)應(yīng)用價(jià)值。