国产真实乱全部视频,黄色片视频在线免费观看,密臀av一区二区三区,av黄色一级,中文字幕.com,日本a级网站,在线视频观看91

跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法、裝置、設(shè)備及介質(zhì)與流程

文檔序號:42326578發(fā)布日期:2025-07-01 19:45閱讀:來源:國知局

技術(shù)特征:

1.一種跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法,其特征在于,包括:

2.根據(jù)權(quán)利要求1所述的跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法,其特征在于,所述確定所述第一特征和所述第二特征對應(yīng)的軟間隔,包括:

3.根據(jù)權(quán)利要求2所述的跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法,其特征在于,所述確定所述圖像數(shù)據(jù)中圖像之間對應(yīng)的第一概率分布,以及所述頻譜數(shù)據(jù)中頻譜之間的第二概率分布,包括:

4.根據(jù)權(quán)利要求2所述的跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法,其特征在于,所述確定所述第一概率分布和所述第二概率分布之間的距離,包括:

5.根據(jù)權(quán)利要求2所述的跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法,其特征在于,所述根據(jù)所述距離確定出所述圖像數(shù)據(jù)和所述頻譜數(shù)據(jù)之間對應(yīng)的實(shí)例一致性評分,包括:

6.根據(jù)權(quán)利要求1所述的跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法,其特征在于,所述根據(jù)所述第一特征和所述第二特征確定所述圖像數(shù)據(jù)和所述頻譜數(shù)據(jù)之間的對應(yīng)的第一相似性特征,包括:

7.根據(jù)權(quán)利要求6所述的跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法,其特征在于,所述根據(jù)所述第一相似性特征和所述軟間隔確定出所述跨模態(tài)數(shù)據(jù)對齊模型對應(yīng)的第一損失值,包括:

8.根據(jù)權(quán)利要求1所述的跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法,其特征在于,所述基于所述匹配概率確定出所述跨模態(tài)數(shù)據(jù)對齊模型對應(yīng)的第二損失值,包括:

9.根據(jù)權(quán)利要求1所述的跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法,其特征在于,所述根據(jù)所述第一特征確定出所述圖像數(shù)據(jù)中圖像之間對應(yīng)的第二相似性特征,包括:

10.根據(jù)權(quán)利要求9所述的跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法,其特征在于,所述根據(jù)所述第二相似性特征和所述第三相似性特征確定出所述跨模態(tài)數(shù)據(jù)對齊模型對應(yīng)的第三損失值,包括:

11.一種跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練裝置,其特征在于,包括:

12.一種計(jì)算機(jī)可讀存儲介質(zhì),其特征在于,所述計(jì)算機(jī)可讀存儲介質(zhì)存儲有多條指令,所述指令適于處理器進(jìn)行加載,以執(zhí)行權(quán)利要求1至10任一項(xiàng)所述的跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法。

13.一種計(jì)算機(jī)設(shè)備,包括存儲器、處理器以及存儲在所述存儲器中并可以在所述處理器上運(yùn)行的計(jì)算機(jī)程序,其特征在于,所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至10任一項(xiàng)所述的跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法。


技術(shù)總結(jié)
本申請實(shí)施例公開一種跨模態(tài)數(shù)據(jù)對齊模型訓(xùn)練方法、裝置、設(shè)備及介質(zhì)。將圖像數(shù)據(jù)和頻譜數(shù)據(jù)分別輸入到跨模態(tài)數(shù)據(jù)對齊模型中,輸出用于表征圖像數(shù)據(jù)中每個(gè)圖像的第一特征,以及用于表征頻譜數(shù)據(jù)中每個(gè)頻譜的第二特征;根據(jù)第一特征和第二特征確定圖像數(shù)據(jù)和頻譜數(shù)據(jù)之間的對應(yīng)的第一相似性特征和軟間隔確定出跨模態(tài)數(shù)據(jù)對齊模型對應(yīng)的第一損失值;確定圖像數(shù)據(jù)和頻譜數(shù)據(jù)之間對應(yīng)的匹配概率,并基于匹配概率確定出跨模態(tài)數(shù)據(jù)對齊模型對應(yīng)的第二損失值;根據(jù)圖像數(shù)據(jù)中圖像之間對應(yīng)的第二相似性特征,以及頻譜數(shù)據(jù)中頻譜之間對應(yīng)的第三相似性特征確定出跨模態(tài)數(shù)據(jù)對齊模型對應(yīng)的第三損失值;根據(jù)第一損失值、第二損失值和第三損失值訓(xùn)練上述模型。

技術(shù)研發(fā)人員:劉曉慶,張凡,王卓耀,余志文,張柳堅(jiān),陳武興
受保護(hù)的技術(shù)使用者:鵬城實(shí)驗(yàn)室
技術(shù)研發(fā)日:
技術(shù)公布日:2025/6/30
當(dāng)前第2頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點(diǎn)贊!
1