本發(fā)明涉及視頻監(jiān)控，尤其涉及基于多攝像頭的廣角視頻監(jiān)控系統(tǒng)、方法、設(shè)備及介質(zhì)。

背景技術(shù)：

1、在現(xiàn)代社會，視頻監(jiān)控在公共安全、生產(chǎn)管理、交通監(jiān)管等眾多領(lǐng)域有著廣泛應(yīng)用。隨著應(yīng)用場景不斷拓展和人們對監(jiān)控要求的提升，傳統(tǒng)單攝像頭監(jiān)控系統(tǒng)逐漸暴露出諸多局限。

2、傳統(tǒng)單攝像頭視角固定且狹窄，難以覆蓋大面積區(qū)域。例如在大型商場、機場、車站等人員密集、空間開闊場所，單攝像頭只能監(jiān)控局部區(qū)域，存在大量監(jiān)控死角。為實現(xiàn)全面監(jiān)控，需部署多個單攝像頭，不僅增加成本和安裝維護工作量，還因各攝像頭畫面相互獨立，難以快速構(gòu)建完整場景信息，不利于實時監(jiān)控和事后回溯分析。同時，在復(fù)雜場景下，如城市道路交叉路口，單攝像頭無法兼顧多個方向的交通狀況和行人活動，容易遺漏關(guān)鍵信息。

3、現(xiàn)有的廣角視頻監(jiān)控方案，在圖像采集和處理方面存在不足。部分采用魚眼鏡頭的廣角方案，圖像畸變嚴重，雖能獲取大視角畫面，但圖像變形導致目標物體形狀和位置失真，影響后續(xù)分析和識別。而且，傳統(tǒng)圖像拼接技術(shù)在處理多攝像頭圖像時，特征點匹配精度低、拼接速度慢，遇到光照變化、動態(tài)場景等復(fù)雜情況，拼接效果差，出現(xiàn)明顯拼接縫或圖像錯位，無法提供高質(zhì)量的全景視頻圖像。

4、在智能分析和數(shù)據(jù)處理環(huán)節(jié)，傳統(tǒng)監(jiān)控系統(tǒng)也面臨挑戰(zhàn)。其目標檢測和行為分析算法準確率和實時性欠佳，難以準確檢測和跟蹤快速移動目標或在復(fù)雜背景下識別異常行為。同時，海量視頻數(shù)據(jù)的存儲和傳輸效率低，傳統(tǒng)存儲方式占用大量存儲空間且檢索不便，傳輸過程中易出現(xiàn)卡頓、延遲等問題，無法滿足實時監(jiān)控和應(yīng)急響應(yīng)需求。因此，研發(fā)一種更先進、高效的廣角視頻監(jiān)控系統(tǒng)迫在眉睫。

技術(shù)實現(xiàn)思路

1、本發(fā)明提出的基于多攝像頭的廣角視頻監(jiān)控系統(tǒng)、方法、設(shè)備及介質(zhì)，以解決上述現(xiàn)有技術(shù)中提到的問題。

2、為了實現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案：一種基于多攝像頭的廣角視頻監(jiān)控系統(tǒng)，包括以下模塊：

3、多攝像頭采集模塊：由至少四個攝像頭組成，攝像頭具備自動對焦、光圈調(diào)節(jié)及動態(tài)像素調(diào)整功能,通過結(jié)合非對稱魚眼鏡頭和改進的畸變校正算法采集全景視頻圖像,改進的畸變校正算法公式為，其中(x,y)為畸變圖像坐標，(f(x,y))為校正后坐標，，k1、k2、k3、k4為畸變系數(shù)；

4、圖像拼接處理模塊：利用尺度不變特征變換結(jié)合卷積神經(jīng)網(wǎng)絡(luò)算法提取各攝像頭圖像特征點，再通過隨機抽樣一致結(jié)合生成對抗網(wǎng)絡(luò)算法去除誤匹配點，使用加權(quán)融合算法，公式為，其中i(x,y)為融合后圖像像素值，ii(x,y)為第i個攝像頭圖像像素值，wi(x,y)為權(quán)重系數(shù)，αi(x,y)為注意力權(quán)重；

5、智能分析模塊：利用基于transformer架構(gòu)并改進的目標檢測與行為分析模型，引入位置編碼改進機制和多頭自注意力機制優(yōu)化策略，實時分析拼接后的視頻圖像，模型訓練數(shù)據(jù)集擴充至包含20萬張不同場景、目標的圖像，實時檢測目標并跟蹤，通過結(jié)合時空注意力機制計算目標的運動軌跡，公式為，其中p(t)為目標在t時刻的位置，(x(t),y(t))為橫縱坐標，為目標運動方向角；

6、存儲與傳輸模塊：視頻圖像存儲采用分布式集群存儲架構(gòu)結(jié)合糾刪碼技術(shù)，保障數(shù)據(jù)可靠性，通過集成5g-advanced和wi-fi6e雙通信鏈路進行數(shù)據(jù)傳輸；

7、控制模塊：采用邊緣計算芯片，根據(jù)環(huán)境感知模塊反饋的多源信息，通過改進的模糊自適應(yīng)pid控制算法公式計算控制量u(t)，其中、、為隨時間和系統(tǒng)狀態(tài)動態(tài)調(diào)整的比例、積分、微分系數(shù)。

8、進一步的，還包括環(huán)境感知模塊，由溫濕度、光照、空氣質(zhì)量、風速風向傳感器組成，實時采集環(huán)境參數(shù)。

9、進一步的，還包括電源管理模塊，采用太陽能、風能和市電混合供電模式，具備智能能量管理系統(tǒng)，通過最大功率點跟蹤算法結(jié)合智能切換策略，根據(jù)能源收集情況、電池電量和系統(tǒng)功耗自動切換供電模式，優(yōu)先利用可再生能源。

10、進一步的，所述多攝像頭采集模塊中攝像頭具備多光譜夜視功能，集成紅外、近紅外和微光傳感器，采用940nm紅外補光、850nm近紅外補光和微光成像技術(shù)，在夜間環(huán)境提供清晰視頻圖像，滿足全天候、全環(huán)境監(jiān)控需求。

11、進一步的，所述圖像拼接處理模塊中，在特征點匹配前，先對圖像進行基于雙邊濾波和引導濾波融合的預(yù)處理，結(jié)合雙邊濾波的保邊去噪特性和引導濾波的細節(jié)增強能力，提高圖像質(zhì)量，再通過改進的sift-cnn算法提取特征點。

12、進一步的，所述智能分析模塊中，采用知識蒸餾與對抗訓練相結(jié)合的模型優(yōu)化技術(shù)，將在公開數(shù)據(jù)集上訓練的教師模型知識蒸餾至本系統(tǒng)的學生模型中，同時通過對抗訓練增強模型的魯棒性和泛化能力。

13、進一步的，所述存儲與傳輸模塊中，采用基于區(qū)塊鏈和聯(lián)邦學習的數(shù)據(jù)安全管理技術(shù)，利用區(qū)塊鏈的分布式賬本特性記錄視頻數(shù)據(jù)的操作記錄，同時，通過聯(lián)邦學習技術(shù)在多個數(shù)據(jù)擁有方之間進行數(shù)據(jù)協(xié)同訓練。

14、進一步的，基于多攝像頭的廣角視頻監(jiān)控系統(tǒng)的方法，包括以下步驟：

15、s1：視頻圖像采集步驟：控制模塊根據(jù)環(huán)境感知模塊反饋的環(huán)境參數(shù)，利用改進的模糊自適應(yīng)pid控制算法調(diào)節(jié)多攝像頭采集模塊中攝像頭參數(shù)，至少四個不同角度的攝像頭采集視頻圖像，通過非對稱魚眼鏡頭獲取圖像，同時利用改進的畸變校正算法對圖像進行畸變校正；

16、s2：圖像拼接處理步驟：對采集的視頻圖像，先進行基于雙邊濾波和引導濾波融合的預(yù)處理，再采用改進的sift-cnn算法提取每幅圖像不少于800個特征點，然后通過改進的ransac-gan算法去除誤匹配點，根據(jù)匹配后的特征點，使用基于注意力機制的加權(quán)融合算法進行圖像融合；

17、s3：智能分析步驟：將拼接后的廣角視頻圖像輸入基于改進transformer架構(gòu)的目標檢測與行為分析模型，利用位置編碼改進機制和多頭自注意力機制優(yōu)化策略，結(jié)合時空注意力機制計算目標運動軌跡公式，對視頻圖像中的目標進行實時檢測、跟蹤和行為分析，當檢測到異常行為時發(fā)出預(yù)警；

18、s4：存儲與傳輸步驟：對廣角視頻圖像進行vvc編碼，采用分布式集群存儲架構(gòu)結(jié)合lrc糾刪碼技術(shù)進行存儲，通過5g-advanced和wi-fi6e雙通信鏈路，將圖像傳輸至監(jiān)控中心或云端。

19、進一步的，一種基于多攝像頭的廣角視頻監(jiān)控設(shè)備，包括所述的基于多攝像頭的廣角視頻監(jiān)控系統(tǒng)，以及設(shè)備外殼，外殼采用碳纖維復(fù)合材料，具備防水、防塵、防曬、防撞擊功能，防護等級達到ip68，設(shè)備內(nèi)置智能散熱與溫控系統(tǒng)，采用液冷散熱技術(shù)結(jié)合智能溫控芯片，根據(jù)系統(tǒng)溫度自動調(diào)節(jié)散熱強度。

20、進一步的，一種計算機可讀存儲介質(zhì)，存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)所述的基于多攝像頭的廣角視頻監(jiān)控方法的步驟。

21、與現(xiàn)有的技術(shù)相比，本發(fā)明的有益效果是：

22、在圖像采集方面，多攝像頭多角度靈活配置，能覆蓋更大范圍區(qū)域，有效消除監(jiān)控死角?？勺兘垢咔鍞z像頭結(jié)合先進畸變校正算法，確保采集的圖像清晰、無畸變，無論在室內(nèi)大空間還是室外復(fù)雜場景，都能提供高質(zhì)量原始視頻畫面。

23、圖像拼接處理上，融合深度學習與傳統(tǒng)算法的特征點匹配及基于注意力機制的加權(quán)融合算法，實現(xiàn)了高精度、快速的圖像拼接，生成的無縫廣角視頻圖像視覺效果完美，為后續(xù)智能分析提供優(yōu)質(zhì)數(shù)據(jù)源。

24、智能分析功能強大，基于改進transformer架構(gòu)的模型大幅提升目標檢測、跟蹤和行為分析的準確率與實時性。無論是快速移動的車輛，還是人群中的異常行為，都能及時準確識別和預(yù)警，為安全防范、事件處理提供有力支持。

25、存儲與傳輸方面，分布式集群存儲結(jié)合先進編碼和糾刪碼技術(shù)，在保障數(shù)據(jù)可靠的同時，極大降低存儲成本。高速通信鏈路實現(xiàn)視頻圖像低延遲實時傳輸，確保監(jiān)控中心能及時獲取現(xiàn)場信息，便于快速決策和應(yīng)急響應(yīng)。

26、此外，系統(tǒng)集成多種先進技術(shù)，具備良好環(huán)境適應(yīng)性和穩(wěn)定性?；旌瞎╇娔Ｊ奖Ｕ夏茉垂?yīng)，智能散熱與溫控等機制確保設(shè)備在惡劣環(huán)境下穩(wěn)定運行。同時，數(shù)據(jù)安全管理技術(shù)保障視頻數(shù)據(jù)安全可信，整體上提高了監(jiān)控系統(tǒng)的實用性、可靠性和安全性，滿足多種復(fù)雜場景下的監(jiān)控需求。