本發(fā)明屬于機(jī)器人定位，具體涉及一種基于多傳感器數(shù)據(jù)融合的建圖方法及定位方法。
背景技術(shù)：
1、在當(dāng)今機(jī)器人室內(nèi)應(yīng)用場(chǎng)景不斷擴(kuò)展的背景下，由于室內(nèi)gps信號(hào)不佳，為了更好的讓機(jī)器人執(zhí)行任務(wù)和自主決策，機(jī)器人室內(nèi)定位的精確性和穩(wěn)定性顯得尤為重要。
2、然而，現(xiàn)有的機(jī)器人定位方法盡管取得了一定進(jìn)展，但傳統(tǒng)的單一傳感器定位方案往往受限于傳感器的固有特性。激光雷達(dá)的掃描范圍存在盲區(qū)，對(duì)非規(guī)則物體的識(shí)別率較低，導(dǎo)致漏檢和誤判；此外，慣性測(cè)量單元(imu)受累積誤差影響，長(zhǎng)時(shí)間工作時(shí)定位準(zhǔn)確性會(huì)逐漸下降。當(dāng)機(jī)器人在平直走廊等缺乏特征匹配點(diǎn)的環(huán)境下，現(xiàn)有的基于特征匹配的算法可能面臨失效或者精度嚴(yán)重下降等問(wèn)題，難以保證高精度的實(shí)時(shí)定位需求。在建圖階段，機(jī)器人對(duì)環(huán)境信息的感知能力不全面，數(shù)據(jù)挖掘能力不夠深入，導(dǎo)致機(jī)器人沒(méi)有提取到能夠真正區(qū)分不同位置的關(guān)鍵信息，所提取到的信息特征表達(dá)不夠準(zhǔn)確，因而進(jìn)而影響定位精度。
3、因此，隨著機(jī)器人室內(nèi)應(yīng)用場(chǎng)景的不斷擴(kuò)展，現(xiàn)有的單一傳感器的方案已經(jīng)難以滿足應(yīng)用需求。
技術(shù)實(shí)現(xiàn)思路
1、為了解決現(xiàn)有技術(shù)中存在的上述問(wèn)題，本發(fā)明提供了一種基于多傳感器數(shù)據(jù)融合的建圖方法及定位方法。本發(fā)明要解決的技術(shù)問(wèn)題通過(guò)以下技術(shù)方案實(shí)現(xiàn)：
2、本發(fā)明的第一方面提供了一種基于多傳感器數(shù)據(jù)融合的建圖方法，應(yīng)用于配置有圖像傳感器、imu和激光雷達(dá)的裝置，包括以下步驟：
3、s11：以所述imu為時(shí)空基準(zhǔn)，對(duì)圖像傳感器、激光雷達(dá)和imu進(jìn)行時(shí)空對(duì)齊；
4、s12：通過(guò)所述圖像傳感器、激光雷達(dá)和imu分別采集圖像數(shù)據(jù)、點(diǎn)云數(shù)據(jù)和位姿數(shù)據(jù)；
5、s13：在位姿數(shù)據(jù)滿足關(guān)鍵幀采集條件時(shí)，確定當(dāng)前幀為關(guān)鍵幀；
6、s14：對(duì)所述關(guān)鍵幀的圖像數(shù)據(jù)進(jìn)行預(yù)處理，并從所述關(guān)鍵幀的圖像數(shù)據(jù)中提取文本數(shù)據(jù)；
7、s15：將每個(gè)關(guān)鍵幀對(duì)應(yīng)的圖像數(shù)據(jù)、文本數(shù)據(jù)和點(diǎn)云數(shù)據(jù)均綁定至當(dāng)前關(guān)鍵幀對(duì)應(yīng)的位姿數(shù)據(jù)，構(gòu)建包含圖像地圖、文本地圖和點(diǎn)云地圖的多傳感器數(shù)據(jù)融合地圖。
8、在一個(gè)可實(shí)現(xiàn)的方式中，步驟s13中的關(guān)鍵幀采集條件包括：
9、位姿數(shù)據(jù)的變化值等于行進(jìn)距離預(yù)設(shè)值或旋轉(zhuǎn)角度預(yù)設(shè)值。
10、在一個(gè)可實(shí)現(xiàn)的方式中，步驟s11包括：
11、s111：以所述imu的數(shù)據(jù)為基準(zhǔn)，控制圖像傳感器和激光雷達(dá)等距離間隔采樣；
12、s112：以所述imu的位置為基準(zhǔn)，建立基準(zhǔn)坐標(biāo)系，根據(jù)所述圖像傳感器、所述imu和所述激光雷達(dá)的相對(duì)位置關(guān)系，對(duì)所述圖像傳感器和所述激光雷達(dá)的位置坐標(biāo)進(jìn)行平移和旋轉(zhuǎn)運(yùn)算，將所述圖像傳感器和所述激光雷達(dá)的數(shù)據(jù)轉(zhuǎn)換至所述基準(zhǔn)坐標(biāo)系。
13、在一個(gè)可實(shí)現(xiàn)的方式中，步驟s15之后還包括：
14、s16：對(duì)所述多傳感器數(shù)據(jù)融合地圖進(jìn)行閉環(huán)檢測(cè)；
15、s17：將所述多傳感器數(shù)據(jù)融合地圖以ros地圖格式進(jìn)行存儲(chǔ)。
16、在一個(gè)可實(shí)現(xiàn)的方式中，步驟s14包括中的預(yù)處理包括：去噪、二值化和圖像增強(qiáng)處理。
17、本發(fā)明的第二方面提供了一種基于多傳感器數(shù)據(jù)融合的定位方法，包括以下步驟：
18、s21：通過(guò)圖像傳感器、激光雷達(dá)和imu分別采集實(shí)時(shí)圖像數(shù)據(jù)、實(shí)時(shí)點(diǎn)云數(shù)據(jù)和實(shí)時(shí)位姿數(shù)據(jù)；
19、s22：通過(guò)評(píng)價(jià)指標(biāo)選取從所述實(shí)時(shí)圖像數(shù)據(jù)和所述實(shí)時(shí)點(diǎn)云數(shù)據(jù)中選取特征圖像數(shù)據(jù)和特征點(diǎn)云數(shù)據(jù)；
20、s23：檢測(cè)所述特征圖像數(shù)據(jù)中是否存在文本數(shù)據(jù)；若是，則進(jìn)行步驟s24；若否，則進(jìn)行步驟s25；
21、s24：從所述特征圖像數(shù)據(jù)中提取文本數(shù)據(jù)，將所述文本數(shù)據(jù)對(duì)應(yīng)至本發(fā)明第一方面提供的建圖方法建立的多傳感器數(shù)據(jù)融合地圖中，得到當(dāng)前文本數(shù)據(jù)所綁定的位姿數(shù)據(jù)；根據(jù)所述多傳感器數(shù)據(jù)融合地圖獲取當(dāng)前位姿數(shù)據(jù)前后若干幀的圖像數(shù)據(jù)和點(diǎn)云數(shù)據(jù)，并和所述實(shí)時(shí)圖像數(shù)據(jù)和所述實(shí)時(shí)點(diǎn)云數(shù)據(jù)進(jìn)行對(duì)比，確定最匹配的圖像數(shù)據(jù)和點(diǎn)云數(shù)據(jù)；根據(jù)最匹配的圖像數(shù)據(jù)和點(diǎn)云數(shù)據(jù)得到實(shí)時(shí)定位信息；
22、s25：根據(jù)所述實(shí)時(shí)圖像數(shù)據(jù)、所述實(shí)時(shí)點(diǎn)云數(shù)據(jù)和所述實(shí)時(shí)位姿數(shù)據(jù)，采用改進(jìn)的擴(kuò)展卡爾曼濾波算法進(jìn)行狀態(tài)預(yù)測(cè)，得到實(shí)時(shí)定位信息。
23、在一個(gè)可實(shí)現(xiàn)的方式中，步驟s22包括：
24、s221：對(duì)圖像質(zhì)量評(píng)估的多個(gè)參數(shù)進(jìn)行加權(quán)求和，得到圖像綜合質(zhì)量指數(shù)；
25、s222：以所述圖像綜合質(zhì)量指數(shù)為評(píng)價(jià)標(biāo)準(zhǔn)，從所述實(shí)時(shí)圖像數(shù)據(jù)中選取特征圖像數(shù)據(jù)；
26、s223：以曲率和點(diǎn)云密度為評(píng)價(jià)標(biāo)準(zhǔn)，從所述實(shí)時(shí)點(diǎn)云數(shù)據(jù)中選取特征點(diǎn)云數(shù)據(jù)。
27、在一個(gè)可實(shí)現(xiàn)的方式中，所述圖像質(zhì)量評(píng)估的多個(gè)參數(shù)包括：梯度幅度相似性指數(shù)和灰度方差；
28、所述梯度幅度相似性指數(shù)和所述灰度方差加權(quán)求和的權(quán)重值根據(jù)光照強(qiáng)度調(diào)整。
29、在一個(gè)可實(shí)現(xiàn)的方式中，在低光照強(qiáng)度下，增大所述梯度幅度相似性指數(shù)的權(quán)重；在高光照強(qiáng)度下，增大所述灰度方差的權(quán)重。
30、在一個(gè)可實(shí)現(xiàn)的方式中，所述改進(jìn)的擴(kuò)展卡爾曼濾波算法包括：
31、根據(jù)光照強(qiáng)度設(shè)置光照分配權(quán)重，以所述光照分配權(quán)重作為最終狀態(tài)更新公式的權(quán)重。
32、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果：
33、本發(fā)明提供的基于多源異構(gòu)傳感器的建圖方法和定位方法，采用圖像、激光雷達(dá)和imu進(jìn)行數(shù)據(jù)采集，并將每個(gè)關(guān)鍵幀對(duì)應(yīng)的圖像數(shù)據(jù)、文本數(shù)據(jù)和點(diǎn)云數(shù)據(jù)均綁定至當(dāng)前關(guān)鍵幀對(duì)應(yīng)的位姿數(shù)據(jù)，構(gòu)建包含圖像地圖、文本地圖和點(diǎn)云地圖的多傳感器數(shù)據(jù)融合地圖，實(shí)現(xiàn)對(duì)環(huán)境進(jìn)行更加全面的感知和描述。在定位時(shí)，利用從圖像中提取的文本數(shù)據(jù)，為后續(xù)的定位提供初步的位置信息，從而避免全數(shù)據(jù)庫(kù)搜索，加速匹配過(guò)程，提高定位速度。此外，通過(guò)構(gòu)建圖像綜合質(zhì)量指數(shù)(iqi)，依據(jù)不同光照條件動(dòng)態(tài)圖像質(zhì)量評(píng)估的多個(gè)參數(shù)的權(quán)重，以提高圖像數(shù)據(jù)的質(zhì)量評(píng)估，從而優(yōu)化數(shù)據(jù)融合過(guò)程，確保在不同環(huán)境下都能有效進(jìn)行圖像和點(diǎn)云匹配，在傳感器數(shù)據(jù)融合過(guò)程中，向傳統(tǒng)的擴(kuò)展卡爾曼濾波算法中引入基于光照條件的動(dòng)態(tài)權(quán)重調(diào)整機(jī)制，以增強(qiáng)在不同光照環(huán)境下的魯棒性和精度，優(yōu)化位姿估計(jì)。本發(fā)明提供的建圖方法和定位方法，能夠有效提高機(jī)器人室內(nèi)定位精度、系統(tǒng)魯棒性及實(shí)時(shí)性。
1.一種基于多傳感器數(shù)據(jù)融合的建圖方法，其特征在于，應(yīng)用于配置有圖像傳感器、imu和激光雷達(dá)的裝置，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于多傳感器數(shù)據(jù)融合的建圖方法，其特征在于，步驟s13中的關(guān)鍵幀采集條件包括：
3.根據(jù)權(quán)利要求1所述的基于多傳感器數(shù)據(jù)融合的建圖方法，其特征在于，步驟s11包括：
4.根據(jù)權(quán)利要求1所述的基于多傳感器數(shù)據(jù)融合的建圖方法，其特征在于，步驟s15之后還包括：
5.根據(jù)權(quán)利要求1所述的基于多傳感器數(shù)據(jù)融合的建圖方法，其特征在于，步驟s14包括中的預(yù)處理包括：去噪、二值化和圖像增強(qiáng)處理。
6.一種基于多傳感器數(shù)據(jù)融合的定位方法，其特征在于，包括以下步驟：
7.根據(jù)權(quán)利要求6所述的基于多傳感器數(shù)據(jù)融合的定位方法，其特征在于，步驟s22包括：
8.根據(jù)權(quán)利要求7所述的基于多傳感器數(shù)據(jù)融合的定位方法，其特征在于，所述圖像質(zhì)量評(píng)估的多個(gè)參數(shù)包括：梯度幅度相似性指數(shù)和灰度方差；
9.根據(jù)權(quán)利要求8所述的基于多傳感器數(shù)據(jù)融合的定位方法，其特征在于，在低光照強(qiáng)度下，增大所述梯度幅度相似性指數(shù)的權(quán)重；在高光照強(qiáng)度下，增大所述灰度方差的權(quán)重。
10.根據(jù)權(quán)利要求6所述的基于多傳感器數(shù)據(jù)融合的定位方法，其特征在于，所述改進(jìn)的擴(kuò)展卡爾曼濾波算法包括：