1.一種跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法,其特征在于,包括:
2.根據(jù)權(quán)利要求1所述的跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法,其特征在于,所述確定所述第一特征和所述第二特征對應(yīng)的軟間隔,包括:
3.根據(jù)權(quán)利要求2所述的跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法,其特征在于,所述確定所述圖像數(shù)據(jù)中圖像之間對應(yīng)的第一概率分布,以及所述頻譜數(shù)據(jù)中頻譜之間的第二概率分布,包括:
4.根據(jù)權(quán)利要求2所述的跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法,其特征在于,所述確定所述第一概率分布和所述第二概率分布之間的距離,包括:
5.根據(jù)權(quán)利要求2所述的跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法,其特征在于,所述根據(jù)所述距離確定出所述圖像數(shù)據(jù)和所述頻譜數(shù)據(jù)之間對應(yīng)的實(shí)例一致性評分,包括:
6.根據(jù)權(quán)利要求1所述的跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法,其特征在于,所述根據(jù)所述第一特征和所述第二特征確定所述圖像數(shù)據(jù)和所述頻譜數(shù)據(jù)之間的對應(yīng)的第一相似性特征,包括:
7.根據(jù)權(quán)利要求6所述的跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法,其特征在于,所述根據(jù)所述第一相似性特征和所述軟間隔確定出所述跨模態(tài)數(shù)據(jù)對齊模型對應(yīng)的第一損失值,包括:
8.根據(jù)權(quán)利要求1所述的跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法,其特征在于,所述基于所述匹配概率確定出所述跨模態(tài)數(shù)據(jù)對齊模型對應(yīng)的第二損失值,包括:
9.根據(jù)權(quán)利要求1所述的跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法,其特征在于,所述根據(jù)所述第一特征確定出所述圖像數(shù)據(jù)中圖像之間對應(yīng)的第二相似性特征,包括:
10.根據(jù)權(quán)利要求9所述的跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法,其特征在于,所述根據(jù)所述第二相似性特征和所述第三相似性特征確定出所述跨模態(tài)數(shù)據(jù)對齊模型對應(yīng)的第三損失值,包括:
11.一種跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練裝置,其特征在于,包括:
12.一種計(jì)算機(jī)可讀存儲介質(zhì),其特征在于,所述計(jì)算機(jī)可讀存儲介質(zhì)存儲有多條指令,所述指令適于處理器進(jìn)行加載,以執(zhí)行權(quán)利要求1至10任一項(xiàng)所述的跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法。
13.一種計(jì)算機(jī)設(shè)備,包括存儲器、處理器以及存儲在所述存儲器中并可以在所述處理器上運(yùn)行的計(jì)算機(jī)程序,其特征在于,所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至10任一項(xiàng)所述的跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法。