本公開涉及圖像識別，具體而言，涉及一種角點檢測方法、裝置、計算機設(shè)備和程序產(chǎn)品。

背景技術(shù)：

1、棋盤格角點識別技術(shù)是計算機視覺中用于相機標(biāo)定和幾何校正的關(guān)鍵技術(shù)之一，該技術(shù)通過檢測棋盤格圖案的角點來獲取圖像中的特征點，進而實現(xiàn)標(biāo)定或校正。

2、但是，當(dāng)前的棋盤格角點識別技術(shù)存在識別精度低、識別效果差的弊端，尤其在棋盤格圖像質(zhì)量較低(如圖像模糊、重影、含有噪聲、棋盤格缺失)時，該弊端將更明顯。

技術(shù)實現(xiàn)思路

1、本公開實施例至少提供一種角點檢測方法、裝置、計算機設(shè)備和程序產(chǎn)品。

2、第一方面，本公開實施例提供了一種角點檢測方法，包括：

3、利用預(yù)先訓(xùn)練的角點檢測網(wǎng)絡(luò)，檢測棋盤格圖像中的各個角點，得到各個角點分別對應(yīng)的第一檢測框；

4、對各所述第一檢測框分別對應(yīng)的檢測框圖像進行圖像優(yōu)化操作，得到優(yōu)化圖像；

5、根據(jù)所述優(yōu)化圖像中各像素點的梯度，從所述各像素點中篩選出符合鞍點特征的候選鞍點；

6、根據(jù)每個所述候選鞍點在所述優(yōu)化圖像中的第一坐標(biāo)，從各所述候選鞍點中篩選出所述第一檢測框中的目標(biāo)角點。

7、在一種可能的實施方式中，根據(jù)所述優(yōu)化圖像中各像素點的梯度，從所述各像素點中篩選出符合鞍點特征的候選鞍點，包括：

8、根據(jù)所述優(yōu)化圖像中各像素點的梯度，確定所述優(yōu)化圖像中各所述像素點分別在特征方程下對應(yīng)的兩個特征值；所述特征值用于表征所述像素點的曲率特征；

9、根據(jù)所述兩個特征值的正負(fù)符號，從所述各像素點中篩選出符合鞍點特征的候選鞍點。

10、在一種可能的實施方式中，所述根據(jù)所述優(yōu)化圖像中各像素點的梯度，確定所述優(yōu)化圖像中各所述像素點分別在特征方程下對應(yīng)的特征值，包括：

11、根據(jù)所述優(yōu)化圖像中所述各像素點的梯度，確定所述各像素點分別對應(yīng)的預(yù)設(shè)矩陣表示；

12、根據(jù)所述各像素點對應(yīng)的所述預(yù)設(shè)矩陣表示，構(gòu)建所述各像素點分別對應(yīng)的所述特征方程；

13、根據(jù)所述特征方程的解，確定所述各像素點分別在特征方程下對應(yīng)的兩個特征值。

14、在一種可能的實施方式中，所述對各所述第一檢測框分別對應(yīng)的檢測框圖像進行圖像優(yōu)化操作，得到優(yōu)化圖像，包括：

15、確定針對所述檢測框圖像進行圖像濾波的多個濾波尺度；

16、按照多個所述濾波尺度，分別對所述檢測框圖像進行圖像濾波處理，得到多個第一濾波圖像，并根據(jù)所述多個第一濾波圖像，確定第二濾波圖像；

17、確定所述第二濾波圖像的自適應(yīng)閾值；

18、根據(jù)所述自適應(yīng)閾值確定圖像增強參數(shù)，并利用所述圖像增強參數(shù)，調(diào)整所述第二濾波圖像的圖像對比度，得到優(yōu)化圖像。

19、在一種可能的實施方式中，所述根據(jù)每個所述候選鞍點在所述優(yōu)化圖像中的第一坐標(biāo)，從各所述候選鞍點中篩選出所述第一檢測框中的目標(biāo)角點，包括：

20、通過插值方式對所述候選鞍點的所述第一坐標(biāo)進行亞像素級優(yōu)化，得到所述候選鞍點的第二坐標(biāo)；

21、利用每個所述候選鞍點的第二坐標(biāo)，采用非極大值抑制方式，從所述候選鞍點中篩選出所述目標(biāo)角點。

22、在一種可能的實施方式中，在從各所述候選鞍點中篩選出所述第一檢測框中的目標(biāo)角點之后，還包括：

23、將每個所述第一檢測框中的目標(biāo)角點作為節(jié)點，并利用每個所述節(jié)點在所述棋盤格圖像中的第三坐標(biāo)，計算每兩個節(jié)點之間的距離；

24、根據(jù)每兩個節(jié)點之間的距離，生成各個所述節(jié)點組成的的最小生成樹，并根據(jù)所述最小生成樹，確定節(jié)點特征矩陣和節(jié)點鄰接矩陣；所述節(jié)點特征矩陣用于表征各個所述節(jié)點的初始節(jié)點特征，所述節(jié)點鄰接矩陣用于表征包括每個所述節(jié)點的位置特征和鄰居節(jié)點信息；

25、根據(jù)所述節(jié)點特征矩陣和所述節(jié)點鄰接矩陣，對所述最小生成樹對應(yīng)的樹結(jié)構(gòu)進行優(yōu)化，并根據(jù)優(yōu)化后的最小生成樹，對每個所述節(jié)點對應(yīng)的目標(biāo)角點進行排序，得到各個所述目標(biāo)角點的排序次序。

26、在一種可能的實施方式中，根據(jù)所述節(jié)點特征矩陣和所述節(jié)點鄰接矩陣，對所述最小生成樹對應(yīng)的樹結(jié)構(gòu)進行優(yōu)化，包括：

27、利用預(yù)先訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)，根據(jù)所述節(jié)點特征矩陣和所述節(jié)點鄰接矩陣，確定每個所述節(jié)點的嵌入特征；所述嵌入特征用于表征所述節(jié)點的目標(biāo)節(jié)點特征以及在最小生成樹中的位置和結(jié)構(gòu)；

28、利用預(yù)先訓(xùn)練的強化學(xué)習(xí)網(wǎng)絡(luò)，根據(jù)每個所述節(jié)點的嵌入特征，確定所述節(jié)點特征矩陣對應(yīng)的優(yōu)化特征矩陣和所述節(jié)點鄰接矩陣對應(yīng)的優(yōu)化鄰接矩陣；

29、根據(jù)所述優(yōu)化特征矩陣和所述優(yōu)化鄰接矩陣，確定優(yōu)化后的最小生成樹。

30、在一種可能的實施方式中，所述利用預(yù)先訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)，根據(jù)所述節(jié)點特征矩陣和所述節(jié)點鄰接矩陣，確定每個所述節(jié)點的嵌入特征，包括：

31、利用所述圖神經(jīng)網(wǎng)絡(luò)的圖卷積網(wǎng)絡(luò)模塊，根據(jù)每個所述節(jié)點的位置特征和鄰居節(jié)點信息，對每個所述節(jié)點的初始節(jié)點特征進行更新，得到第一更新特征；

32、利用所述圖神經(jīng)網(wǎng)絡(luò)的圖注意力網(wǎng)絡(luò)模塊，根據(jù)所述第一更新特征為每個所述節(jié)點的鄰居節(jié)點分配注意力權(quán)重，并基于所述注意力權(quán)重對所述節(jié)點的第一更新特征進行更新，得到第二更新特征；

33、利用所述圖神經(jīng)網(wǎng)絡(luò)的圖同構(gòu)網(wǎng)絡(luò)模塊，對每個節(jié)點的第二更新特征以及所述節(jié)點的鄰居節(jié)點的第二更新特征進行線性組合，得到每個所述節(jié)點的嵌入特征。

34、在一種可能的實施方式中，所述利用預(yù)先訓(xùn)練的強化學(xué)習(xí)網(wǎng)絡(luò)，根據(jù)每個所述節(jié)點的嵌入特征，確定所述節(jié)點特征矩陣對應(yīng)的優(yōu)化特征矩陣和所述節(jié)點鄰接矩陣對應(yīng)的優(yōu)化鄰接矩陣，包括：

35、利用所述強化學(xué)習(xí)網(wǎng)絡(luò)，根據(jù)每個所述節(jié)點的嵌入特征，確定需要處理的當(dāng)前節(jié)點；

36、根據(jù)當(dāng)前節(jié)點對應(yīng)的狀態(tài)信息，確定針對所述當(dāng)前節(jié)點所需執(zhí)行的動作；所述狀態(tài)信息至少包括當(dāng)前的最小生成樹對應(yīng)的全局結(jié)構(gòu)信息、當(dāng)前節(jié)點的處理順序、當(dāng)前操作進度和歷史動作中的一種；其中，在所述當(dāng)前節(jié)點為首個節(jié)點的情況下，所述當(dāng)前的最小生成樹為每個所述節(jié)點的嵌入特征決定的最小生成樹；

37、按照所述動作對所述當(dāng)前節(jié)點的嵌入特征進行優(yōu)化，得到優(yōu)化嵌入特征；

38、返回所述根據(jù)每個所述節(jié)點的嵌入特征，確定需要處理的當(dāng)前節(jié)點的步驟，直至得到各個所述節(jié)點的優(yōu)化嵌入特征；

39、根據(jù)所述優(yōu)化嵌入特征，確定所述優(yōu)化特征矩陣和所述優(yōu)化鄰接矩陣。

40、在一種可能的實施方式中，所述動作包括以下至少一種：

41、選擇當(dāng)前節(jié)點的下一個鄰居節(jié)點、修改當(dāng)前節(jié)點的節(jié)點信息、修改或重新分配當(dāng)前節(jié)點的鄰居節(jié)點信息、向前回溯一步或初始化當(dāng)前節(jié)點。

42、在一種可能的實施方式中，所述棋盤格圖像包括設(shè)置有目標(biāo)標(biāo)記的目標(biāo)棋盤格；所述角點檢測網(wǎng)絡(luò)的識別結(jié)果還包括所述目標(biāo)棋盤格對應(yīng)的第二檢測框；所述第二檢測框的位置根據(jù)所述目標(biāo)棋盤格中的目標(biāo)標(biāo)記識別得到；

43、根據(jù)優(yōu)化后的最小生成樹，對每個所述節(jié)點對應(yīng)的目標(biāo)角點進行排序，得到各個所述目標(biāo)角點的排序次序，包括：

44、以所述第二檢測框?qū)?yīng)的四個目標(biāo)角點中的任一角點作為起始節(jié)點，并為所述起始節(jié)點分配起始網(wǎng)格坐標(biāo)；

45、從所述起始節(jié)點開始，根據(jù)所述優(yōu)化后的最小生成樹指示的各個節(jié)點的鄰居節(jié)點，依次遍歷每個其他節(jié)點；

46、針對任一所述其他節(jié)點，根據(jù)所述其他節(jié)點在所述棋盤格圖像中的第三坐標(biāo)、所述其他節(jié)點的鄰居節(jié)點中首個遍歷節(jié)點的第三坐標(biāo)、以及預(yù)設(shè)坐標(biāo)偏差角度，為所述其他節(jié)點分配目標(biāo)網(wǎng)格坐標(biāo)；

47、根據(jù)所述起始網(wǎng)格坐標(biāo)和所述目標(biāo)網(wǎng)格坐標(biāo)，確定各個所述目標(biāo)角點的排序次序。

48、第二方面，本公開實施例還提供一種角點檢測裝置，包括：

49、檢測模塊，用于利用預(yù)先訓(xùn)練的角點檢測網(wǎng)絡(luò)，檢測棋盤格圖像中的各個角點，得到各個角點分別對應(yīng)的第一檢測框；

50、優(yōu)化模塊，用于對各所述第一檢測框分別對應(yīng)的檢測框圖像進行圖像優(yōu)化操作，得到優(yōu)化圖像；

51、第一篩選模塊，用于根據(jù)所述優(yōu)化圖像中各像素點的梯度，從所述各像素點中篩選出符合鞍點特征的候選鞍點；

52、第二篩選模塊，用于根據(jù)每個所述候選鞍點在所述優(yōu)化圖像中的第一坐標(biāo)，從各所述候選鞍點中篩選出所述第一檢測框中的目標(biāo)角點。

53、第三方面，本公開可選實現(xiàn)方式還提供一種計算機設(shè)備，處理器、存儲器，所述存儲器存儲有所述處理器可執(zhí)行的機器可讀指令，所述處理器用于執(zhí)行所述存儲器中存儲的機器可讀指令，所述機器可讀指令被所述處理器執(zhí)行時執(zhí)行上述第一方面，或第一方面中任一種可能的實施方式中的步驟。

54、第四方面，本公開可選實現(xiàn)方式還提供一種計算機程序產(chǎn)品，包括計算機程序，該計算機程序被運行時實現(xiàn)上述第一方面，或第一方面中任一種可能的實施方式中的步驟。

55、本公開實施例提供的角點檢測方法、裝置、計算機設(shè)備和程序產(chǎn)品，利用訓(xùn)練過的角點檢測網(wǎng)絡(luò)，首先能夠檢測出棋盤格圖像中各個棋盤格角點對應(yīng)的大致位置，即第一檢測框所在的位置。然后通過對檢測框圖像進行多種圖像優(yōu)化操作，可以有效提高圖像質(zhì)量，消除圖像噪聲。由于像素點梯度能夠反映邊緣信息、紋理信息、細(xì)節(jié)信息和噪聲信息，所以利用優(yōu)化后得到的優(yōu)化圖像中像素點的梯度進行鞍點識別，可以有效篩選出可能作為角點的候選鞍點。再結(jié)合候選鞍點的第一坐標(biāo)，可以從多個候選鞍點中最符合角點特征的目標(biāo)角點，從而實現(xiàn)在檢測框圖像中識別出準(zhǔn)確的角點位置，完成對角點的精準(zhǔn)定位。

56、進一步，本公開實施例提供的角點檢測方法、裝置、計算機設(shè)備和程序產(chǎn)品，基于最小生成樹對各個目標(biāo)角點進行排序，可以優(yōu)化目標(biāo)角點之間的連接順序，為每個目標(biāo)角點分配合理的網(wǎng)格坐標(biāo)，從而實現(xiàn)對目標(biāo)角點的合理排序。

57、進一步，本公開實施例提供的角點檢測方法、裝置、計算機設(shè)備和程序產(chǎn)品，為應(yīng)對一些復(fù)雜棋盤格在構(gòu)建最小生成樹時可能產(chǎn)生的沖突和回環(huán)，導(dǎo)致生成的最小生成樹存在不合理的情況，采用了結(jié)合圖神經(jīng)網(wǎng)絡(luò)和強化學(xué)習(xí)網(wǎng)絡(luò)的方式，對最小生成樹的樹結(jié)構(gòu)進行優(yōu)化，可以有效消除樹結(jié)構(gòu)中的沖突和回環(huán)，確保樹結(jié)構(gòu)的合理性，進而有利于后續(xù)為節(jié)點分配準(zhǔn)確的網(wǎng)格坐標(biāo)。

58、關(guān)于上述角點檢測裝置、計算機設(shè)備、及計算機程序產(chǎn)品的效果描述參見上述角點檢測方法的說明，這里不再贅述。

59、為使本公開的上述目的、特征和優(yōu)點能更明顯易懂，下文特舉較佳實施例，并配合所附附圖，作詳細(xì)說明如下。