本發(fā)明屬于虛擬試衣，尤其涉及一種基于多模態(tài)查詢的電商虛擬試衣方法及系統(tǒng)。
背景技術(shù)：
1、隨著互聯(lián)網(wǎng)的普及，越來(lái)越多的消費(fèi)者選擇在線購(gòu)物，網(wǎng)上購(gòu)物已經(jīng)成為消費(fèi)者日常生活中不可或缺的一部分。相比傳統(tǒng)的實(shí)體店購(gòu)買(mǎi)，網(wǎng)上購(gòu)物具有選擇面廣、價(jià)格優(yōu)惠、購(gòu)買(mǎi)方便等優(yōu)勢(shì)，深受消費(fèi)者的青睞。然而，線上購(gòu)物無(wú)法提供實(shí)體店試穿體驗(yàn)，這限制了消費(fèi)者的購(gòu)買(mǎi)決策，也增加了退換貨的風(fēng)險(xiǎn)，增加了商家的運(yùn)營(yíng)成本。為解決這一問(wèn)題,虛擬試衣技術(shù)應(yīng)運(yùn)而生。
2、現(xiàn)代消費(fèi)者越來(lái)越注重個(gè)性化和便捷性。虛擬試衣技術(shù)能夠提供個(gè)性化的試穿體驗(yàn)，并且可以在任何時(shí)間、任何地點(diǎn)進(jìn)行，滿足了消費(fèi)者對(duì)便捷性的需求。同時(shí)，還可以幫助商家降低運(yùn)營(yíng)成本，同時(shí)提供更加吸引人的購(gòu)物體驗(yàn)。此外隨著環(huán)保意識(shí)的提高，減少服裝浪費(fèi)成為了一個(gè)重要議題。虛擬試衣技術(shù)可以減少因不合適而產(chǎn)生的退換貨，從而有助于實(shí)現(xiàn)服裝行業(yè)的可持續(xù)發(fā)展。
3、目前，虛擬試衣技術(shù)已經(jīng)在一些知名的電商平臺(tái)和服裝定制網(wǎng)站得到廣泛應(yīng)用，并取得了良好的效果。例如，亞馬遜在其平臺(tái)上推出了虛擬試衣間，允許用戶上傳自己的照片或使用現(xiàn)成的模特模型，然后試穿不同的服裝；優(yōu)衣庫(kù)和zara在其應(yīng)用程序中提供了虛擬試衣功能，用戶可以試穿不同的服裝。而這些操作通常是基于官方現(xiàn)有商品圖，忽略了用戶查詢時(shí)希望直觀看到目標(biāo)商品上身效果的訴求；此外，現(xiàn)有的虛擬試衣系統(tǒng)大多是專(zhuān)為消費(fèi)者服務(wù)，只提供模板化的試穿效果，忽略了在商業(yè)場(chǎng)景中商家對(duì)全面服裝展示的需求，缺乏自定義面孔、姿勢(shì)和場(chǎng)景的能力。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的在于提供一種基于多模態(tài)查詢的電商虛擬試衣方法，旨在解決現(xiàn)有的虛擬試衣系統(tǒng)大多是專(zhuān)為消費(fèi)者服務(wù)，只提供模板化的試穿效果，忽略了在商業(yè)場(chǎng)景中商家對(duì)全面服裝展示的需求，缺乏自定義面孔、姿勢(shì)和場(chǎng)景的能力的問(wèn)題。
2、本發(fā)明是這樣實(shí)現(xiàn)的，一種基于多模態(tài)查詢的電商虛擬試衣系統(tǒng)，所述系統(tǒng)包括：
3、圖-圖模塊，用于從模糊圖像/視頻出發(fā)匹配到真實(shí)商品圖；
4、文-圖模塊，用于從查詢文本出發(fā)匹配到真實(shí)商品圖；
5、虛擬試衣模塊，用于生成具有固定服裝和可選條件的可自由編輯的人像；
6、根據(jù)用戶輸入的查詢模態(tài)信息，自動(dòng)選擇相應(yīng)的查詢模塊，并將匹配到的商品服裝圖像輸入到虛擬試衣模塊，生成虛擬試衣圖像。
7、優(yōu)選的，所述圖-圖模塊包括：
8、數(shù)據(jù)獲取單元，用于從互聯(lián)網(wǎng)獲取電商直播視頻和對(duì)應(yīng)的商品圖片，并進(jìn)行預(yù)處理；
9、目標(biāo)檢測(cè)單元，用于對(duì)圖片中的物體進(jìn)行目標(biāo)檢測(cè)識(shí)別，并標(biāo)注出商品標(biāo)注框；
10、篩選單元，用于引入文字描述與圖片特征相結(jié)合，篩選目標(biāo)標(biāo)注框；
11、候選列表生成單元，用于對(duì)篩選出的預(yù)測(cè)框進(jìn)行得分排序，輸出商品圖/視頻幀候選列表；
12、特征提取單元，用于將候選列表圖片作為輸入，通過(guò)特征提取，獲得相應(yīng)的特征向量與嵌入；
13、相似度計(jì)算單元，用于對(duì)商品圖/視頻幀實(shí)例的嵌入向量進(jìn)行余弦相似度計(jì)算，得到候選列表；
14、微調(diào)優(yōu)化單元，用于對(duì)候選列表進(jìn)行篩選，通過(guò)微調(diào)優(yōu)化策略對(duì)匹配結(jié)果進(jìn)行循環(huán)調(diào)整；
15、實(shí)例匹配單元，用于對(duì)匹配結(jié)果中的商品圖/視頻幀圖片中的實(shí)例進(jìn)行匹配對(duì)應(yīng)，得到實(shí)例對(duì)應(yīng)關(guān)系；
16、結(jié)果整合單元，用于將視頻編號(hào)與商品圖編號(hào)的編號(hào)匹配結(jié)果與實(shí)例匹配結(jié)果進(jìn)行結(jié)合，得到最終匹配結(jié)果。
17、優(yōu)選的，所述文-圖模塊包括：
18、數(shù)據(jù)收集單元，用于從互聯(lián)網(wǎng)收集視覺(jué)語(yǔ)言時(shí)尚方面的數(shù)據(jù)集；
19、模型訓(xùn)練單元，用于利用收集的數(shù)據(jù)訓(xùn)練并調(diào)整組合圖像檢索系統(tǒng)；
20、查詢輸入單元，用于接收用戶輸入的查詢文本；
21、圖像檢索單元，用于根據(jù)用戶輸入的查詢文本，通過(guò)條件圖像檢索系統(tǒng)得到目標(biāo)商品圖像。
22、優(yōu)選的，所述虛擬試衣模塊包括：
23、數(shù)據(jù)獲取單元，用于從互聯(lián)網(wǎng)上收集高分辨率的商品圖片，且每套商品圖片需包含多種拍攝角度穿著該服裝的圖像；
24、數(shù)據(jù)處理單元，用于對(duì)獲取的圖片數(shù)據(jù)中有缺失信息的部分進(jìn)行處理，使每一組圖片數(shù)據(jù)均包含所需的信息；
25、系統(tǒng)訓(xùn)練單元，用于使用處理后的數(shù)據(jù)訓(xùn)練并調(diào)整虛擬試衣系統(tǒng)；
26、初步試衣結(jié)果生成單元，用于將匹配的商品圖輸入到虛擬試衣系統(tǒng)中，生成初步無(wú)特殊要求的試衣結(jié)果；
27、可選條件特征提取單元，用于根據(jù)用戶提出的可選條件進(jìn)行特征提?。?/p>
28、試衣結(jié)果優(yōu)化單元，用于將初步虛擬試衣結(jié)果與可選條件特征進(jìn)行拼接，生成滿足可選條件的虛擬試衣結(jié)果。
29、優(yōu)選的，所述系統(tǒng)還包括：
30、用戶交互界面，用于接收用戶輸入的查詢和可選條件，并展示虛擬試衣結(jié)果；
31、反饋收集單元，用于收集用戶對(duì)虛擬試衣結(jié)果的反饋。
32、優(yōu)選的，所述系統(tǒng)還包括：
33、數(shù)據(jù)存儲(chǔ)單元，用于存儲(chǔ)電商直播視頻、商品圖片、預(yù)處理數(shù)據(jù)、模型參數(shù)、用戶查詢記錄和虛擬試衣結(jié)果；
34、數(shù)據(jù)管理單元，用于對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行管理和維護(hù)。
35、本發(fā)明的另一目的在于提供一種基于多模態(tài)查詢的電商虛擬試衣方法，應(yīng)用于如上所述的基于多模態(tài)查詢的電商虛擬試衣系統(tǒng)，所述方法包括：
36、s1、用戶根據(jù)需求輸入查詢，對(duì)輸入查詢所屬模態(tài)進(jìn)行判斷；
37、s2、根據(jù)輸入查詢的模態(tài)信息，轉(zhuǎn)入相應(yīng)的查詢模塊；用戶輸入的查詢?yōu)槲谋緯r(shí)，將查詢文本接入文-圖模塊；當(dāng)用戶輸入的查詢?yōu)槟：龍D像/視頻截圖/視頻時(shí)，將查詢接入圖-圖模塊；
38、s3、接入相應(yīng)查詢模塊后，基于用戶的輸入查詢匹配相應(yīng)的商品服裝圖像；當(dāng)用戶選中商品服裝圖像時(shí)，系統(tǒng)將商品服裝圖像轉(zhuǎn)入虛擬試衣模塊，先生成一張無(wú)指定姿勢(shì)無(wú)指定面容的虛擬試衣圖像，獲取用戶輸入的可選條件，基于可選條件生成相應(yīng)的虛擬試衣頭像；可選條件可以通過(guò)預(yù)設(shè)的方式確定。
39、優(yōu)選的，通過(guò)圖-圖模塊匹配商品服裝圖像的步驟包括：
40、s101，獲取電商直播視頻和與其對(duì)應(yīng)的商品圖片，預(yù)處理后得到預(yù)處理數(shù)據(jù)，預(yù)處理數(shù)據(jù)包括視頻幀圖片和直播語(yǔ)音對(duì)照文字；
41、s102，對(duì)圖片中的物體進(jìn)行目標(biāo)檢測(cè)識(shí)別，標(biāo)注出商品標(biāo)注框；
42、s103，引入文字描述與圖片特征相結(jié)合，篩選目標(biāo)標(biāo)注框；
43、s104，對(duì)篩選出的預(yù)測(cè)框進(jìn)行得分排序，輸出組成商品圖/視頻幀候選列表；
44、s105，將候選列表圖片作為輸入，通過(guò)特征提取，獲得相應(yīng)的特征向量與嵌入；
45、s106，對(duì)商品圖/視頻幀實(shí)例的嵌入向量進(jìn)行余弦相似度計(jì)算，得到每個(gè)視頻幀標(biāo)注框?qū)嵗欢嘤趉個(gè)的對(duì)應(yīng)商品圖標(biāo)注框?qū)嵗蜻x列表；
46、s107，對(duì)候選列表進(jìn)行篩選，通過(guò)微調(diào)優(yōu)化策略，對(duì)匹配結(jié)果進(jìn)行循環(huán)調(diào)整，得到視頻編號(hào)與商品圖編號(hào)的匹配結(jié)果；
47、s108，對(duì)匹配結(jié)果中的商品圖/視頻幀圖片中的實(shí)例進(jìn)行匹配對(duì)應(yīng)，對(duì)每一對(duì)的所有實(shí)例進(jìn)行相似度計(jì)算，進(jìn)行得分排序，得到實(shí)例對(duì)應(yīng)關(guān)系；
48、s109，將視頻編號(hào)與商品圖編號(hào)的匹配結(jié)果與實(shí)例匹配結(jié)果進(jìn)行結(jié)合，得到最終匹配結(jié)果。
49、優(yōu)選的，通過(guò)文-圖模塊確定目標(biāo)商品圖像的步驟包括：
50、s201，收集視覺(jué)語(yǔ)言數(shù)據(jù)集，為模型的訓(xùn)練作前期準(zhǔn)備；
51、s202，利用收集的數(shù)據(jù)訓(xùn)練并調(diào)整文-圖模塊中內(nèi)置的組合圖像檢索系統(tǒng)；
52、s203，用戶輸入查詢文本通過(guò)組合圖像檢索系統(tǒng)檢索得到目標(biāo)商品圖像。
53、優(yōu)選的，虛擬試衣模塊的工作步驟包括：
54、s301，收集商品圖片，每套商品圖片包含多種拍攝角度穿著該服裝的圖像；
55、s302，對(duì)獲取的圖片數(shù)據(jù)中有缺失信息的部分進(jìn)行處理，使每一組圖片數(shù)據(jù)均包含所需的信息；
56、s303，使用處理后的數(shù)據(jù)訓(xùn)練并調(diào)整虛擬試衣模塊內(nèi)置的虛擬試衣系統(tǒng)；
57、s304，將基于用戶查詢匹配的商品圖輸入到虛擬試衣系統(tǒng)中首先生成一個(gè)初步無(wú)特殊要求的試衣結(jié)果；
58、s305，如果用戶輸入可選條件，則根據(jù)給出的可選條件進(jìn)行特征提取，將其初步無(wú)特殊要求的試衣結(jié)果；
59、s306，通過(guò)初步虛擬試衣結(jié)果結(jié)合可選條件特征，進(jìn)行拼接設(shè)計(jì)優(yōu)化后，生成滿足用戶輸入的可選條件的虛擬試衣結(jié)果。
60、本發(fā)明提供的基于多模態(tài)查詢的電商虛擬試衣系統(tǒng)，通過(guò)引入大模型輔助和潛在擴(kuò)散模型，結(jié)合多功能插件，實(shí)現(xiàn)一站式操作，完成自由可編輯的虛擬試衣圖像，構(gòu)建一種支持查詢多樣化和解決虛擬試衣模板化的方法與系統(tǒng)。該系統(tǒng)能夠顯著提高用戶的購(gòu)物體驗(yàn)，減少因不合適而產(chǎn)生的退換貨，降低商家運(yùn)營(yíng)成本，同時(shí)支持商家全面和個(gè)性化的服裝展示。