本申請(qǐng)涉及自動(dòng)駕駛，尤其涉及一種自動(dòng)駕駛及訓(xùn)練方法、裝置、設(shè)備、車輛、芯片和介質(zhì)。
背景技術(shù)：
1、傳統(tǒng)的自動(dòng)駕駛系統(tǒng)通常采用模塊化設(shè)計(jì)，將整個(gè)駕駛?cè)蝿?wù)分解為多個(gè)獨(dú)立模塊，如感知、定位、預(yù)測、決策、規(guī)劃和控制等。然而，這種模塊化架構(gòu)存在一些固有的局限性，包括信息損耗、缺乏全局優(yōu)化能力以及在長尾場景下的適應(yīng)性較差等問題。為了解決這些問題，端到端(end-to-end，簡稱為e2e)自動(dòng)駕駛技術(shù)應(yīng)運(yùn)而生，其旨在通過深度學(xué)習(xí)模型，直接從原始的傳感器數(shù)據(jù)輸入到車輛控制信號(hào)輸出，實(shí)現(xiàn)一個(gè)完整且高度優(yōu)化的路徑。
2、相關(guān)技術(shù)中，可以將經(jīng)過大規(guī)模預(yù)訓(xùn)練的視覺-語言多模態(tài)大模型(vision-language?model，簡稱為vlm)引入到端到端自動(dòng)駕駛領(lǐng)域，來提升端到端自動(dòng)駕駛技術(shù)對(duì)于復(fù)雜駕駛場景的理解能力。然而，vlm主要依靠車載攝像頭采集的視覺圖像進(jìn)行軌跡規(guī)劃，無法保證軌跡規(guī)劃的精度。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。
2、為此，本申請(qǐng)?zhí)岢鲆环N自動(dòng)駕駛及訓(xùn)練方法、裝置、設(shè)備、車輛、芯片和介質(zhì)，以實(shí)現(xiàn)采用端到端自動(dòng)駕駛模型基于多源數(shù)據(jù)對(duì)車輛進(jìn)行軌跡規(guī)劃，提升模型對(duì)駕駛環(huán)境的理解能力，使得軌跡規(guī)劃更加準(zhǔn)確和全面，從而提升車輛行駛的安全性和用戶體驗(yàn)。
3、本申請(qǐng)一方面實(shí)施例提出了一種自動(dòng)駕駛方法，包括：
4、響應(yīng)于導(dǎo)航指令，獲取輸入數(shù)據(jù)；其中，所述輸入數(shù)據(jù)包括對(duì)目標(biāo)車輛所處環(huán)境進(jìn)行采集得到的環(huán)境信息和所述目標(biāo)車輛的車輛狀態(tài)信息；
5、采用所述自動(dòng)駕駛模型根據(jù)所述導(dǎo)航指令和所述輸入數(shù)據(jù)對(duì)所述目標(biāo)車輛進(jìn)行軌跡規(guī)劃，得到預(yù)測軌跡信息；
6、根據(jù)所述預(yù)測軌跡信息控制所述目標(biāo)車輛進(jìn)行自動(dòng)駕駛。
7、本申請(qǐng)另一方面實(shí)施例提出了一種自動(dòng)駕駛模型的訓(xùn)練方法，包括：
8、獲取訓(xùn)練集；其中，所述訓(xùn)練集中的訓(xùn)練樣本包括對(duì)樣本車輛所處環(huán)境進(jìn)行采集得到的樣本環(huán)境信息、所述樣本車輛的車輛狀態(tài)信息、樣本問答對(duì)和所述樣本環(huán)境信息對(duì)應(yīng)的標(biāo)注信息中的至少一項(xiàng)；
9、采用所述訓(xùn)練集，對(duì)自動(dòng)駕駛模型執(zhí)行多個(gè)訓(xùn)練階段；其中，不同訓(xùn)練階段的訓(xùn)練任務(wù)不同，所述自動(dòng)駕駛模型用于進(jìn)行軌跡規(guī)劃和/或問題解答。
10、本申請(qǐng)又一方面實(shí)施例提出了一種自動(dòng)駕駛裝置，包括：
11、獲取模塊，用于響應(yīng)于導(dǎo)航指令，獲取輸入數(shù)據(jù)；其中，所述輸入數(shù)據(jù)包括對(duì)目標(biāo)車輛所處環(huán)境進(jìn)行采集得到的環(huán)境信息和所述目標(biāo)車輛的車輛狀態(tài)信息；
12、規(guī)劃模塊，用于采用所述自動(dòng)駕駛模型根據(jù)所述導(dǎo)航指令和所述輸入數(shù)據(jù)對(duì)所述目標(biāo)車輛進(jìn)行軌跡規(guī)劃，得到預(yù)測軌跡信息；其中，所述預(yù)測軌跡信息用于對(duì)所述目標(biāo)車輛進(jìn)行行駛控制；
13、控制模塊，用于根據(jù)所述預(yù)測軌跡信息控制所述目標(biāo)車輛進(jìn)行自動(dòng)駕駛。
14、本申請(qǐng)?jiān)僖环矫鎸?shí)施例提出了一種自動(dòng)駕駛模型的訓(xùn)練裝置，包括：
15、獲取模塊，用于獲取訓(xùn)練集；其中，所述訓(xùn)練集中的訓(xùn)練樣本包括對(duì)樣本車輛所處環(huán)境進(jìn)行采集得到的樣本環(huán)境信息、所述樣本車輛的車輛狀態(tài)信息、樣本問答對(duì)和所述樣本環(huán)境信息對(duì)應(yīng)的標(biāo)注信息中的至少一項(xiàng)；
16、訓(xùn)練模塊，用于采用所述訓(xùn)練集，對(duì)自動(dòng)駕駛模型執(zhí)行多個(gè)訓(xùn)練階段；其中，不同訓(xùn)練階段的訓(xùn)練任務(wù)不同，所述自動(dòng)駕駛模型用于進(jìn)行軌跡規(guī)劃和/或問題解答。
17、本申請(qǐng)還一方面實(shí)施例提出了一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)，實(shí)現(xiàn)如前述一方面所述的自動(dòng)駕駛方法，或者，實(shí)現(xiàn)如前述另一方面所述的自動(dòng)駕駛模型的訓(xùn)練方法。
18、本申請(qǐng)?jiān)僖环矫鎸?shí)施例提出了一種車輛，包括：處理器；用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；其中，所述處理器被配置為：實(shí)現(xiàn)如前述一方面所述的自動(dòng)駕駛方法，或者，實(shí)現(xiàn)如前述另一方面所述的自動(dòng)駕駛模型的訓(xùn)練方法。
19、本申請(qǐng)又一方面實(shí)施例提出了另一種芯片，該芯片包括相互耦合的接口電路和處理電路，所述接口電路用于輸入或輸出信號(hào)，所述處理電路被配置為執(zhí)行如前述一方面所述的自動(dòng)駕駛方法，或者，執(zhí)行如前述另一方面所述的自動(dòng)駕駛模型的訓(xùn)練方法。
20、本申請(qǐng)?jiān)僖环矫鎸?shí)施例提出了一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如前述一方面所述的自動(dòng)駕駛方法，或者，執(zhí)行時(shí)實(shí)現(xiàn)如前述另一方面所述的自動(dòng)駕駛模型的訓(xùn)練方法。
21、本申請(qǐng)又一方面實(shí)施例提出了一種計(jì)算機(jī)程序產(chǎn)品，其上存儲(chǔ)有計(jì)算機(jī)程序，所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如前述一方面所述的自動(dòng)駕駛方法，或者，執(zhí)行時(shí)實(shí)現(xiàn)如前述另一方面所述的自動(dòng)駕駛模型的訓(xùn)練方法。
22、本申請(qǐng)?zhí)岢龅淖詣?dòng)駕駛方法、裝置、電子設(shè)備、芯片和存儲(chǔ)介質(zhì)，響應(yīng)于導(dǎo)航指令，采用端到端自動(dòng)駕駛模型基于多源數(shù)據(jù)(包括對(duì)目標(biāo)車輛所處環(huán)境進(jìn)行采集得到的環(huán)境信息、目標(biāo)車輛的車輛狀態(tài)信息、導(dǎo)航指令)，對(duì)目標(biāo)車輛進(jìn)行軌跡規(guī)劃，可以提升模型對(duì)駕駛環(huán)境的理解能力，使得軌跡規(guī)劃更加準(zhǔn)確和全面，從而提升車輛行駛的安全性和用戶體驗(yàn)。
23、本申請(qǐng)附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本申請(qǐng)的實(shí)踐了解到。
1.一種自動(dòng)駕駛方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述解答信息包括下列中的至少一項(xiàng)：所述用戶問題的答案信息、針對(duì)所述答案信息的推理解析信息；
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述用戶問題采用以下任一項(xiàng)獲取：
5.根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的方法，其特征在于，所述方法還包括下列中的至少一項(xiàng)：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述采用所述自動(dòng)駕駛模型根據(jù)所述導(dǎo)航指令和所述輸入數(shù)據(jù)對(duì)所述目標(biāo)車輛進(jìn)行軌跡規(guī)劃，得到預(yù)測軌跡信息，包括：
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述自動(dòng)駕駛模型包括時(shí)序模塊、文本處理模塊和動(dòng)作生成模塊；所述采用所述自動(dòng)駕駛模型根據(jù)所述環(huán)境特征、所述第一場景查詢、所述第一感知查詢、所述導(dǎo)航指令和所述車輛狀態(tài)信息進(jìn)行軌跡規(guī)劃，得到所述預(yù)測軌跡信息，包括：
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述采用所述時(shí)序模塊對(duì)所述環(huán)境特征、所述第一場景查詢和所述第一感知查詢進(jìn)行特征交互，以得到目標(biāo)場景查詢，包括：
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述目標(biāo)查詢還包括第三感知查詢，所述方法還包括：
10.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述采用所述時(shí)序模塊根據(jù)所述第三場景查詢和長期記憶庫中的至少一個(gè)歷史查詢，生成所述目標(biāo)場景查詢，包括：
11.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述方法，還包括：
12.根據(jù)權(quán)利要求7-11中任一項(xiàng)所述的方法，其特征在于，采用所述文本處理模塊根據(jù)所述場景標(biāo)記向量、所述狀態(tài)標(biāo)記向量和所述指令標(biāo)記向量進(jìn)行駕駛場景理解，以得到目標(biāo)標(biāo)記向量，包括：
13.根據(jù)權(quán)利要求12所述的方法，其特征在于，所述根據(jù)所述文本提示詞，獲取文本標(biāo)記向量，包括：
14.根據(jù)權(quán)利要求13所述的方法，其特征在于，響應(yīng)于所述輸入數(shù)據(jù)包括所述用戶問題，所述目標(biāo)標(biāo)記向量還包括推理標(biāo)記向量，其中，所述規(guī)劃標(biāo)記向量中攜帶所述推理標(biāo)記向量中的關(guān)鍵特征，
15.一種自動(dòng)駕駛模型的訓(xùn)練方法，其特征在于，包括：
16.根據(jù)權(quán)利要求15所述的方法，其特征在于，所述多個(gè)訓(xùn)練階段包括下列中的至少兩個(gè)：第一訓(xùn)練階段、第二訓(xùn)練階段和第三訓(xùn)練階段；
17.一種自動(dòng)駕駛裝置，其特征在于，包括：
18.一種自動(dòng)駕駛模型的訓(xùn)練裝置，其特征在于，包括：
19.一種電子設(shè)備，其特征在于，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)，實(shí)現(xiàn)如權(quán)利要求1至14中任一項(xiàng)所述方法的步驟，和/或，實(shí)現(xiàn)如權(quán)利要求15至16中任一項(xiàng)所述方法的步驟。
20.一種車輛，其特征在于，包括：
21.一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，其特征在于，該程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至14中任一項(xiàng)所述方法的步驟，和/或，實(shí)現(xiàn)如權(quán)利要求15至16中任一項(xiàng)所述方法的步驟。
22.一種芯片，其特征在于，所述芯片包括相互耦合的接口電路和處理電路，所述接口電路用于輸入或輸出信號(hào)，所述處理電路用于實(shí)現(xiàn)權(quán)利要求1至14中任一項(xiàng)所述的方法，和/或，實(shí)現(xiàn)如權(quán)利要求15至16中任一項(xiàng)所述方法的步驟。
23.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)權(quán)利要求1至14中任一項(xiàng)所述方法的步驟，和/或，實(shí)現(xiàn)如權(quán)利要求15至16中任一項(xiàng)所述方法的步驟。