本發(fā)明涉及光學(xué)顯微成像，具體涉及顯微系統(tǒng)中的自動對焦技術(shù)，尤其涉及基于多模態(tài)數(shù)據(jù)融合與卡爾曼濾波的三維自動對焦方法，適用于生物醫(yī)學(xué)顯微成像、數(shù)字病理切片掃描等需要高精度、長時間穩(wěn)定對焦的場景。
背景技術(shù)：
1、近年來，顯微成像技術(shù)在生物醫(yī)學(xué)領(lǐng)域（如全自動顯微鏡、數(shù)字病理切片掃描儀）中廣泛應(yīng)用。全自動顯微鏡需長時間自動化觀測生物樣品（持續(xù)數(shù)小時至數(shù)十小時），數(shù)字病理切片掃描儀則需快速掃描病理切片以生成全玻片數(shù)字化圖像，二者均依賴穩(wěn)定可靠的自動對焦技術(shù)補(bǔ)償環(huán)境溫度變化、機(jī)械振動等因素導(dǎo)致的焦點(diǎn)漂移，確保成像質(zhì)量。
2、傳統(tǒng)自動對焦方法通過沿物鏡光軸掃描不同成像平面，利用圖像質(zhì)量評價函數(shù)（如清晰度函數(shù)）確定離焦量。然而，該類方法存在顯著缺陷：
3、1.單一模態(tài)依賴性：僅依賴清晰度等單一模態(tài)數(shù)據(jù)，易受噪聲干擾，在低對比度樣本（如透明生物組織）中對焦精度不足；
4、2.三維場景失效：對具有復(fù)雜三維結(jié)構(gòu)的樣本，因清晰焦平面范圍較深，無法準(zhǔn)確識別最優(yōu)焦點(diǎn)位置，導(dǎo)致對焦失?。?/p>
5、3.多平面獨(dú)立建模：各焦平面獨(dú)立預(yù)測焦點(diǎn)位置，忽略平面間相互作用，易引發(fā)焦點(diǎn)跳變或不穩(wěn)定；
6、4.實(shí)時性不足：需逐平面掃描并計(jì)算評價函數(shù)，耗時較長，無法適應(yīng)動態(tài)環(huán)境下的實(shí)時對焦需求。
7、隨著顯微成像向高速、高精度、自動化方向發(fā)展，亟需一種能夠融合多模態(tài)數(shù)據(jù)、處理多平面耦合效應(yīng)并實(shí)現(xiàn)實(shí)時動態(tài)優(yōu)化的自動對焦技術(shù)。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明實(shí)施例提供了一種基于多模態(tài)數(shù)據(jù)融合與卡爾曼濾波的三維自動對焦方法、裝置及其可讀存儲介質(zhì)，針對目前技術(shù)存在的傳統(tǒng)顯微自動對焦方法存在實(shí)時性差、多平面協(xié)同性不足、抗干擾能力弱的問題，無法滿足復(fù)雜三維樣本長時間穩(wěn)定觀測的需求等問題。
2、本發(fā)明核心技術(shù)主要是通過構(gòu)建多平面卡爾曼濾波集群融合三維相位信息與圖像清晰度數(shù)據(jù)，動態(tài)預(yù)測并協(xié)同優(yōu)化多焦平面焦點(diǎn)位置，實(shí)現(xiàn)高精度、實(shí)時、穩(wěn)定的三維自動對焦，解決復(fù)雜樣本與動態(tài)環(huán)境下的焦點(diǎn)漂移及跳變問題。
3、第一方面，本發(fā)明提供了一種基于多模態(tài)數(shù)據(jù)融合與卡爾曼濾波的三維自動對焦方法，所述方法包括以下步驟：
4、實(shí)時采集樣本的三維相位信息和不同焦平面的圖像數(shù)據(jù)；
5、對三維相位信息和圖像數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，得到各焦平面的相位深度信息和清晰度度量；
6、基于多平面卡爾曼濾波集群對各焦平面的焦點(diǎn)狀態(tài)進(jìn)行建模，焦點(diǎn)狀態(tài)包括焦平面軸向位置、焦點(diǎn)速度、加速度、相位梯度觀測值及相鄰焦平面間的耦合系數(shù)；
7、通過多平面卡爾曼濾波集群融合歷史焦點(diǎn)狀態(tài)與相鄰焦平面的耦合影響，預(yù)測當(dāng)前各焦平面的焦點(diǎn)狀態(tài)；
8、利用圖像清晰度度量和相位梯度觀測值對預(yù)測的焦點(diǎn)狀態(tài)進(jìn)行更新修正；
9、通過協(xié)同優(yōu)化決策器對多個焦平面的焦點(diǎn)位置進(jìn)行協(xié)同優(yōu)化，確定最終的三維焦點(diǎn)位置；
10、根據(jù)三維焦點(diǎn)位置控制物鏡調(diào)整，實(shí)現(xiàn)實(shí)時三維對焦。
11、進(jìn)一步地，三維相位信息通過微透鏡陣列采集，獲取樣本在x軸和y軸方向的相位梯度，圖像數(shù)據(jù)的清晰度通過計(jì)算圖像梯度平方和得到。
12、進(jìn)一步地，多平面卡爾曼濾波集群的狀態(tài)建模包括：對每個焦平面定義包含軸向位置、焦點(diǎn)速度、加速度、相位梯度及鄰域耦合系數(shù)的狀態(tài)向量，并構(gòu)建初始誤差協(xié)方差矩陣、過程噪聲矩陣和測量噪聲矩陣。
13、進(jìn)一步地，預(yù)測焦點(diǎn)狀態(tài)時，通過狀態(tài)轉(zhuǎn)移矩陣描述焦點(diǎn)狀態(tài)的時間變化，并通過鄰域耦合系數(shù)量化相鄰焦平面間的相互作用。
14、進(jìn)一步地，更新修正焦點(diǎn)狀態(tài)時，通過卡爾曼增益平衡預(yù)測值與測量值的權(quán)重，測量值包括圖像清晰度和相位梯度。
15、進(jìn)一步地，協(xié)同優(yōu)化決策器基于多目標(biāo)優(yōu)化算法，對多個焦平面的焦點(diǎn)位置進(jìn)行沖突檢測和協(xié)同優(yōu)化，消除焦平面間的相互干擾。
16、進(jìn)一步地，還包括動態(tài)調(diào)整過程噪聲矩陣和相鄰焦平面間的耦合系數(shù)，過程噪聲矩陣根據(jù)圖像清晰度梯度動態(tài)調(diào)整，耦合系數(shù)根據(jù)焦平面間清晰度變化實(shí)時更新。
17、第二方面，本發(fā)明提供了一種基于多模態(tài)數(shù)據(jù)融合與卡爾曼濾波的三維自動對焦裝置，包括：
18、相位傳感器，用于采集樣本的三維相位信息；
19、圖像傳感器，用于采集不同焦平面的圖像數(shù)據(jù)并計(jì)算清晰度度量；
20、多平面卡爾曼濾波集群，用于對各焦平面的焦點(diǎn)狀態(tài)進(jìn)行建模、預(yù)測和更新修正，焦點(diǎn)狀態(tài)包括軸向位置、焦點(diǎn)速度、加速度、相位梯度觀測值及相鄰焦平面間的耦合系數(shù)；
21、協(xié)同優(yōu)化決策器，用于對多個焦平面的焦點(diǎn)位置進(jìn)行協(xié)同優(yōu)化，確定最終的三維焦點(diǎn)位置；
22、焦距調(diào)整模塊，用于根據(jù)三維焦點(diǎn)位置控制物鏡調(diào)整，實(shí)現(xiàn)實(shí)時三維對焦。
23、第三方面，本發(fā)明提供了一種電子裝置，包括存儲器和處理器，存儲器中存儲有計(jì)算機(jī)程序，處理器被設(shè)置為運(yùn)行計(jì)算機(jī)程序以執(zhí)行上述的基于多模態(tài)數(shù)據(jù)融合與卡爾曼濾波的三維自動對焦方法。
24、第四方面，本發(fā)明提供了一種可讀存儲介質(zhì)，可讀存儲介質(zhì)中存儲有計(jì)算機(jī)程序，計(jì)算機(jī)程序包括用于控制過程以執(zhí)行過程的程序代碼，過程包括根據(jù)上述的基于多模態(tài)數(shù)據(jù)融合與卡爾曼濾波的三維自動對焦方法。
25、本發(fā)明的主要貢獻(xiàn)和創(chuàng)新點(diǎn)如下：
26、1.多模態(tài)數(shù)據(jù)融合提升對焦精度與魯棒性融合三維相位梯度（反映樣本空間結(jié)構(gòu)）與圖像清晰度（傳統(tǒng)單一模態(tài)），解決低對比度樣本（如透明生物組織）因單一清晰度評價函數(shù)噪聲敏感導(dǎo)致的對焦模糊問題，尤其在弱紋理、透明樣本中對焦成功率提升。
27、2.多平面協(xié)同建模抑制焦點(diǎn)跳變與漂移通過鄰域耦合系數(shù)量化焦平面間相互作用，構(gòu)建多平面卡爾曼濾波集群替代傳統(tǒng)獨(dú)立建模方式，消除因各焦平面獨(dú)立預(yù)測導(dǎo)致的焦點(diǎn)跳變，并通過協(xié)同優(yōu)化決策器實(shí)現(xiàn)全局最優(yōu)對焦，適應(yīng)樣本三維復(fù)雜結(jié)構(gòu)。
28、3.動態(tài)自適應(yīng)機(jī)制增強(qiáng)環(huán)境適應(yīng)性過程噪聲矩陣根據(jù)清晰度梯度動態(tài)調(diào)整，耦合系數(shù)隨焦平面間清晰度變化實(shí)時更新，使系統(tǒng)在溫度變化、機(jī)械振動等動態(tài)環(huán)境中對焦穩(wěn)定性提升，無需人工干預(yù)即可長時間維持高精度對焦。
29、4.實(shí)時性與效率優(yōu)化基于卡爾曼濾波的狀態(tài)預(yù)測與觀測更新機(jī)制，避免傳統(tǒng)逐平面掃描的耗時過程，單幀對焦時間顯著縮短，滿足高速動態(tài)樣本（如活細(xì)胞實(shí)時觀測）的實(shí)時對焦需求。
30、5.應(yīng)用場景擴(kuò)展適用于生物醫(yī)學(xué)全自動顯微鏡、數(shù)字病理切片掃描儀等高精度成像設(shè)備，尤其在厚樣本三維成像、長時間活細(xì)胞追蹤等場景中，突破了傳統(tǒng)方法對單一焦平面或簡單樣本的依賴，推動顯微成像技術(shù)向自動化、智能化方向發(fā)展。
31、本發(fā)明的一個或多個實(shí)施例的細(xì)節(jié)在以下附圖和描述中提出，以使本發(fā)明的其他特征、目的和優(yōu)點(diǎn)更加簡明易懂。
1.基于多模態(tài)數(shù)據(jù)融合與卡爾曼濾波的三維自動對焦方法，其特征在于，包括以下步驟：
2.如權(quán)利要求1所述的基于多模態(tài)數(shù)據(jù)融合與卡爾曼濾波的三維自動對焦方法，其特征在于，三維相位信息通過微透鏡陣列采集，獲取樣本在x軸和y軸方向的相位梯度，所述圖像數(shù)據(jù)的清晰度通過計(jì)算圖像梯度平方和得到。
3.如權(quán)利要求1所述的基于多模態(tài)數(shù)據(jù)融合與卡爾曼濾波的三維自動對焦方法，其特征在于，多平面卡爾曼濾波集群的狀態(tài)建模包括：對每個焦平面定義包含軸向位置、焦點(diǎn)速度、加速度、相位梯度及鄰域耦合系數(shù)的狀態(tài)向量，并構(gòu)建初始誤差協(xié)方差矩陣、過程噪聲矩陣和測量噪聲矩陣。
4.如權(quán)利要求1所述的基于多模態(tài)數(shù)據(jù)融合與卡爾曼濾波的三維自動對焦方法，其特征在于，預(yù)測焦點(diǎn)狀態(tài)時，通過狀態(tài)轉(zhuǎn)移矩陣描述焦點(diǎn)狀態(tài)的時間變化，并通過鄰域耦合系數(shù)量化相鄰焦平面間的相互作用。
5.如權(quán)利要求1所述的基于多模態(tài)數(shù)據(jù)融合與卡爾曼濾波的三維自動對焦方法，其特征在于，更新修正焦點(diǎn)狀態(tài)時，通過卡爾曼增益平衡預(yù)測值與測量值的權(quán)重，所述測量值包括圖像清晰度和相位梯度。
6.如權(quán)利要求1所述的基于多模態(tài)數(shù)據(jù)融合與卡爾曼濾波的三維自動對焦方法，其特征在于，協(xié)同優(yōu)化決策器基于多目標(biāo)優(yōu)化算法，對多個焦平面的焦點(diǎn)位置進(jìn)行沖突檢測和協(xié)同優(yōu)化，消除焦平面間的相互干擾。
7.如權(quán)利要求1-6任一項(xiàng)所述的基于多模態(tài)數(shù)據(jù)融合與卡爾曼濾波的三維自動對焦方法，其特征在于，還包括動態(tài)調(diào)整過程噪聲矩陣和相鄰焦平面間的耦合系數(shù)，所述過程噪聲矩陣根據(jù)圖像清晰度梯度動態(tài)調(diào)整，所述耦合系數(shù)根據(jù)焦平面間清晰度變化實(shí)時更新。
8.基于多模態(tài)數(shù)據(jù)融合與卡爾曼濾波的三維自動對焦裝置，其特征在于，包括：
9.一種電子裝置，包括存儲器和處理器，其特征在于，所述存儲器中存儲有計(jì)算機(jī)程序，所述處理器被設(shè)置為運(yùn)行所述計(jì)算機(jī)程序以執(zhí)行權(quán)利要求1至7任一項(xiàng)所述的基于多模態(tài)數(shù)據(jù)融合與卡爾曼濾波的三維自動對焦方法。
10.一種可讀存儲介質(zhì)，其特征在于，所述可讀存儲介質(zhì)中存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括用于控制過程以執(zhí)行過程的程序代碼，所述過程包括根據(jù)權(quán)利要求1至7任一項(xiàng)所述的基于多模態(tài)數(shù)據(jù)融合與卡爾曼濾波的三維自動對焦方法。