本申請(qǐng)一個(gè)或多個(gè)實(shí)施例涉及三維重建，尤其涉及一種3d高斯模型的訓(xùn)練方法、地圖重建方法、設(shè)備和介質(zhì)。
背景技術(shù)：
1、隨著自動(dòng)駕駛技術(shù)的快速迭代和發(fā)展，用于車輛所屬環(huán)境展示的bev?former(bird's?eye?view?transformer，俯視圖變換器)技術(shù)以及用于障礙物檢測(cè)的occupancynetwork(占用網(wǎng)絡(luò))技術(shù)陸續(xù)在量產(chǎn)車型上進(jìn)行了部署，并獲得了較快的發(fā)展。然而，無論是bev?former技術(shù)，還是occupancy?network技術(shù)都需要使用大量的場(chǎng)景數(shù)據(jù)進(jìn)行訓(xùn)練。
2、目前，大多采用激光點(diǎn)云或者純視覺方案構(gòu)建場(chǎng)景。但是，隨著量產(chǎn)車部署規(guī)模的增加，基于激光點(diǎn)云的數(shù)采車的采集規(guī)模和采集效率難以滿足車端模型的迭代開發(fā)需求，因此基于純視覺的地圖重建方案關(guān)注度日益提升。但是，基于純視覺的地圖重建方案中重建對(duì)象的幾何一致性難以保證，導(dǎo)致地圖重建精度較低，從而影響后續(xù)的下游任務(wù)。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)?zhí)峁┮环N3d高斯模型的訓(xùn)練方法和地圖重建方法，以解決相關(guān)技術(shù)中的不足。
2、根據(jù)本申請(qǐng)一個(gè)或多個(gè)實(shí)施例的第一方面，提供一種3d高斯模型的訓(xùn)練方法，所述方法包括：
3、基于目標(biāo)場(chǎng)景在多個(gè)視角下的真實(shí)圖像，獲取所述真實(shí)圖像的第一法向信息，并對(duì)所述目標(biāo)場(chǎng)景進(jìn)行稀疏重建，得到所述目標(biāo)場(chǎng)景的稀疏點(diǎn)云；
4、基于所述目標(biāo)場(chǎng)景的稀疏點(diǎn)云初始化3d高斯模型，將3d高斯模型中的多個(gè)3d高斯點(diǎn)投影到像素空間得到所述目標(biāo)場(chǎng)景在所述多個(gè)視角下的渲染圖像，并基于所述渲染圖像的深度信息確定所述渲染圖像的第二法向信息；
5、將所述真實(shí)圖像作為所述渲染圖像的優(yōu)化目標(biāo)，并將所述第一法向信息作為所述第二法向信息的優(yōu)化目標(biāo)，對(duì)所述3d高斯模型進(jìn)行訓(xùn)練，以得到針對(duì)所述目標(biāo)場(chǎng)景的3d高斯模型。
6、根據(jù)本申請(qǐng)一個(gè)或多個(gè)實(shí)施例的第二方面，提供一種目標(biāo)場(chǎng)景的地圖重建方法，所述方法包括：
7、基于目標(biāo)場(chǎng)景的多個(gè)視角對(duì)應(yīng)的相機(jī)內(nèi)外參數(shù)，將針對(duì)所述目標(biāo)場(chǎng)景的3d高斯模型中的多個(gè)3d高斯點(diǎn)投影到像素空間得到所述目標(biāo)場(chǎng)景在所述多個(gè)視角下的渲染圖像，其中，所述目標(biāo)場(chǎng)景的3d高斯模型是通過上述第一方面所述的方法訓(xùn)練得到的；
8、根據(jù)得到的渲染圖像構(gòu)建所述目標(biāo)場(chǎng)景的場(chǎng)景地圖。
9、根據(jù)本申請(qǐng)一個(gè)或多個(gè)實(shí)施例的第三方面，提供一種電子設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上述第一方面的實(shí)施例中所述方法的步驟或?qū)崿F(xiàn)如上述第二方面的實(shí)施例中所述方法的步驟。
10、根據(jù)本申請(qǐng)一個(gè)或多個(gè)實(shí)施例的第四方面，提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述第一方面的實(shí)施例中所述方法的步驟或?qū)崿F(xiàn)如上述第二方面的實(shí)施例中所述方法的步驟。
11、根據(jù)本申請(qǐng)一個(gè)或多個(gè)實(shí)施例的第五方面，提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述第一方面的實(shí)施例中所述方法的步驟或?qū)崿F(xiàn)如上述第二方面的實(shí)施例中所述方法的步驟。
12、由以上技術(shù)方案可見，本申請(qǐng)一個(gè)或多個(gè)實(shí)施例中，由于真實(shí)圖像的深度信息不包括尺度信息，渲染圖像的深度信息包括尺度信息，因此，真實(shí)圖像的深度信息是相對(duì)的深度信息，而渲染圖像的深度信息是絕對(duì)的深度信息。使用真實(shí)圖像的深度信息來監(jiān)督渲染圖像的深度信息以訓(xùn)練3d高斯模型的話，會(huì)導(dǎo)致該3d高斯模型重建對(duì)象的幾何一致性較差。考慮到深度信息與法向信息之間存在轉(zhuǎn)換關(guān)系，因此，本申請(qǐng)實(shí)施例將深度信息轉(zhuǎn)換成法向信息來監(jiān)督訓(xùn)練3d高斯模型，消除了真實(shí)圖像的深度信息不包括尺度信息所帶來的影響，提高了3d高斯模型重建對(duì)象的幾何一致性。
13、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本申請(qǐng)。
1.一種3d高斯模型的訓(xùn)練方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述真實(shí)圖像作為所述渲染圖像的優(yōu)化目標(biāo)，并將所述第一法向信息作為所述第二法向信息的優(yōu)化目標(biāo)，對(duì)所述3d高斯模型進(jìn)行訓(xùn)練，以得到針對(duì)所述目標(biāo)場(chǎng)景的3d高斯模型，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述真實(shí)圖像作為所述渲染圖像的優(yōu)化目標(biāo)，將所述第一法向信息作為所述第二法向信息的優(yōu)化目標(biāo)，并基于所述渲染圖像的深度信息和所述渲染圖像的第三法向信息進(jìn)行自監(jiān)督，對(duì)所述3d高斯模型進(jìn)行訓(xùn)練，以得到針對(duì)所述目標(biāo)場(chǎng)景的3d高斯模型，包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取所述真實(shí)圖像的第一法向信息，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述方法還包括：
7.一種目標(biāo)場(chǎng)景的地圖重建方法，其特征在于，所述方法包括：
8.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的方法的步驟。
9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的方法的步驟。
10.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的方法的步驟。