本發(fā)明涉及物流倉儲資產管理，具體涉及基于模型與視頻融合的資產管理方法、裝置及存儲介質。

背景技術：

1、資產根據(jù)相關標準和屬性可以劃分為不同的類別，資產既可以是實物資產也可以是非實物資產，如數(shù)字資產，根據(jù)不同的資產類型，可制定相應的資產管理策略，更好地管理和保護資產。

2、眾所周知，企業(yè)資產管理有助于企業(yè)的價值創(chuàng)造，而高效的資產管理可以顯著提高企業(yè)績效。對于物流倉儲類應用場景，實物資產中的固定資產和流動資產變動是最常見的，如機械設備、庫存、原材料等的增加或減少，最傳統(tǒng)的資產管理方法就是依賴于人工定期盤點，但是這種管理方法既耗時又耗力，且缺乏對數(shù)字資產的關注。

技術實現(xiàn)思路

1、有鑒于此，本發(fā)明的目的在于提供基于模型與視頻融合的資產管理方法、裝置及存儲介質，以解決現(xiàn)有技術中，資產管理方法依賴于人工定期盤點，既耗時又耗力，且缺乏對數(shù)字資產的關注的問題。

2、根據(jù)本發(fā)明實施例的第一方面，提供基于模型與視頻融合的資產管理方法，包括：

3、獲取園區(qū)倉儲物流資產數(shù)據(jù)，將所述園區(qū)倉儲物流資產數(shù)據(jù)劃分為實物資產數(shù)據(jù)和數(shù)字資產數(shù)據(jù)兩大類；

4、根據(jù)所述數(shù)字資產數(shù)據(jù)中的運行數(shù)據(jù)以及知識模型構建虛擬資產孿生模型；

5、根據(jù)所述實物資產數(shù)據(jù)中包含的設備，從預先構建的本地模型庫中選取各設備的3d模型，通過數(shù)字孿生構建虛擬園區(qū)環(huán)境，將所述各設備的3d模型放置到所述虛擬園區(qū)環(huán)境中的對應位置；

6、通過設置在園區(qū)不同位置處的真實攝像機獲取各設備的視頻圖像；基于幾何映射關系計算各設備的3d模型的有效圖元的uv紋理坐標，建立各設備的有效圖元與對應的視頻圖像的動態(tài)映射關系；

7、通過逐幀提取各設備的視頻圖像并根據(jù)有效圖元的uv紋理坐標刷新各設備的3d模型的表面紋理緩沖區(qū)數(shù)據(jù)，使各設備的3d模型的表面紋理與視頻圖像一致，構建實體資產孿生模型。

8、優(yōu)選地，還包括：

9、在所述虛擬園區(qū)環(huán)境中建立與真實攝像機空間參數(shù)匹配的孿生高清攝像機數(shù)字模型，所述孿生高清攝像機數(shù)字模型的拍攝視角和視域范圍與真實攝像機一致；

10、獲取所述真實攝像機拍攝的固定視角視頻數(shù)據(jù)中的某一幀圖像，通過特征點檢測算法提取畫面關鍵特征信息并計算真實攝像機的初始位姿；

11、分別獲取真實攝像機以及對應的孿生高清攝像機數(shù)字模型拍攝的同一視角下的圖像，采用光束平差算法對真實空間點與虛擬投影點之間的重投影誤差進行迭代優(yōu)化，獲得經非線性優(yōu)化的高精度攝像機位姿參數(shù)，通過高精度攝像機位姿參數(shù)對真實攝像機的初始位姿進行調整，實現(xiàn)真實攝像機的標定。

12、優(yōu)選地，

13、所述基于幾何映射關系計算各設備的3d模型的有效圖元的uv紋理坐標包括：

14、獲取設備的3d模型的有效圖元的任意頂點在世界空間下的齊次坐標，獲取將頂點從世界坐標系旋轉到相機坐標系的旋轉矩陣，獲取將頂點從世界坐標系平移到相機坐標系的位移矩陣；根據(jù)所述任意頂點在世界空間下的齊次坐標、旋轉矩陣以及位移矩陣獲取任意頂點在相機空間下的齊次坐標；

15、獲取真實攝像機的焦距，根據(jù)任意頂點從相機空間到圖像空間的投影關系，利用任意頂點在相機空間下的齊次坐標以及真實攝像機的焦距獲取任意頂點在圖像空間的坐標；

16、獲取圖像寬度以及高度，根據(jù)圖像寬度、高度以及任意頂點在圖像空間的坐標獲取任意頂點在紋理空間下的紋理坐標；

17、獲取設備的3d模型的有效圖元各個頂點的紋理坐標，得到各設備的3d模型的有效圖元的uv紋理坐標。

18、優(yōu)選地，還包括：

19、獲取實體資產孿生模型中各3d模型的物理實體的功能屬性，將各3d模型與對應的物理實體的功能屬性進行綁定，實現(xiàn)3d模型與物理實體之間的虛實映射，通過各3d模型的物理實體的監(jiān)測數(shù)據(jù)對各3d模型的物理實體的功能屬性進行實時動態(tài)更新。

20、優(yōu)選地，還包括：

21、根據(jù)所述虛擬資產孿生模型中各設備在運行過程中產生的多維度數(shù)據(jù)，利用預先構建的多級深度融合感知模型預測各設備的健康分類結果。

22、優(yōu)選地，還包括：

23、所述利用預先構建的多級深度融合感知模型預測各設備的健康分類結果包括：

24、將設備在運行過程中產生的多維度數(shù)據(jù)中的每一個維度數(shù)據(jù)作為一個模態(tài)，將設備的多個模態(tài)分別輸入到獨立的編碼器網絡中，將每個模態(tài)單獨編碼為一個特征向量；

25、將每個模態(tài)的特征向量通過一個全連接層映射到注意力權重空間，然后使用softmax函數(shù)計算每一個特征向量的注意力權重；

26、將每一個特征向量按照對應的注意力權重進行加權求和，得到融合表示；

27、將融合表示通過全連接層生成模型輸出，所述模型輸出即為設備的健康分類結果。

28、優(yōu)選地，還包括：

29、根據(jù)各設備的健康分類結果獲取退化趨勢，根據(jù)預設數(shù)量的健康分類結果以及對應的退化趨勢輸入到預搭建好的時間序列預測模型中，所述預搭建好的時間序列預測模型輸出設備未來一段時間的健康狀態(tài)。

30、根據(jù)本發(fā)明實施例的第二方面，提供基于模型與視頻融合的資產管理裝置，包括：

31、數(shù)據(jù)獲取模塊：用于獲取園區(qū)倉儲物流資產數(shù)據(jù)，將所述園區(qū)倉儲物流資產數(shù)據(jù)劃分為實物資產數(shù)據(jù)和數(shù)字資產數(shù)據(jù)兩大類；

32、虛擬資產映射模塊：用于根據(jù)所述數(shù)字資產數(shù)據(jù)中的運行數(shù)據(jù)以及知識模型構建虛擬資產孿生模型；

33、實體模型與環(huán)境映射模塊：用于根據(jù)所述實物資產數(shù)據(jù)中包含的設備，從預先構建的本地模型庫中選取各設備的3d模型，通過數(shù)字孿生構建虛擬園區(qū)環(huán)境，將所述各設備的3d模型放置到所述虛擬園區(qū)環(huán)境中的對應位置；

34、視頻融合模塊：用于通過設置在園區(qū)不同位置處的真實攝像機獲取各設備的視頻圖像；基于幾何映射關系計算各設備的3d模型的有效圖元的uv紋理坐標，建立各設備的有效圖元與對應的視頻圖像的動態(tài)映射關系；

35、實體資產映射模塊：用于通過逐幀提取各設備的視頻圖像并根據(jù)有效圖元的uv紋理坐標刷新各設備的3d模型的表面紋理緩沖區(qū)數(shù)據(jù)，使各設備的3d模型的表面紋理與視頻圖像一致，構建實體資產孿生模型。

36、根據(jù)本發(fā)明實施例的第三方面，提供一種存儲介質，所述存儲介質存儲有計算機程序，所述計算機程序被主控器執(zhí)行時，實現(xiàn)所述的基于數(shù)字孿生的物流裝備再設計方法中的各個步驟。

37、本發(fā)明的實施例提供的技術方案可以包括以下有益效果：

38、本技術通過獲取園區(qū)倉儲物流資產數(shù)據(jù)，將園區(qū)倉儲物流資產數(shù)據(jù)劃分為實物資產數(shù)據(jù)和數(shù)字資產數(shù)據(jù)兩大類；構建園區(qū)倉儲物流各資產孿生模型，分為實體資產孿生模型和虛擬資產孿生模型；其中，實體資產孿生模型的構建時，通過數(shù)字孿生技術結合視頻拼接融合技術實現(xiàn)設備物理實體與3d模型的虛實映射，實現(xiàn)真實視頻流與虛擬三維場景的時空一致性融合；通過本技術的方案實現(xiàn)園區(qū)實體資產以及數(shù)字資產的全方位保護，確保數(shù)據(jù)的真實性和完整性，增加供應鏈管理中各環(huán)節(jié)之間的信任度，提升企業(yè)監(jiān)管水平，優(yōu)化資源配置，最終達到提高企業(yè)績效和企業(yè)價值的目的。

39、應當理解的是，以上的一般描述和后文的細節(jié)描述僅是示例性和解釋性的，并不能限制本發(fā)明。