本發(fā)明涉及多智能體協(xié)作交互，尤其是涉及一種多智能代理協(xié)同交互方法及系統(tǒng)。

背景技術(shù)：

1、多智能代理體協(xié)同交互系統(tǒng)在人工智能領(lǐng)域是一個(gè)快速發(fā)展的研究方向。這些系統(tǒng)由多個(gè)自主智能體組成，每個(gè)智能體都能獨(dú)立感知環(huán)境并采取行動以達(dá)成既定目標(biāo)。

2、多智能代理體協(xié)同交互系統(tǒng)（multi-agentsystems，mas）廣泛應(yīng)用于機(jī)器人協(xié)作、自動駕駛、智能交通、智能電網(wǎng)等領(lǐng)域。這些系統(tǒng)通過多個(gè)智能代理體（agent）之間的協(xié)作與通信，完成復(fù)雜任務(wù)。常見的協(xié)同方法包括集中式控制和分布式控制。

3、集中式控制是一個(gè)中央控制器負(fù)責(zé)協(xié)調(diào)所有智能代理體的行為，存在單點(diǎn)故障和通信瓶頸的缺陷；

4、分布式控制是每個(gè)智能代理體獨(dú)立決策，通過局部通信實(shí)現(xiàn)協(xié)作。存在全局一致性難以保證的缺陷；

5、現(xiàn)有系統(tǒng)在動態(tài)環(huán)境中的適應(yīng)性較差，難以快速響應(yīng)環(huán)境變化。隨著智能代理體數(shù)量增加，計(jì)算復(fù)雜度呈指數(shù)增長，影響實(shí)時(shí)性。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)問題，本發(fā)明提供一種多智能代理協(xié)同交互方法及系統(tǒng)。采用如下的技術(shù)方案：

2、一種多智能代理協(xié)同交互方法，包括以下步驟：

3、步驟1，定義智能代理體集合，初始化每個(gè)智能代理體的局部狀態(tài)和動作空間；

4、步驟2，每個(gè)智能代理體觀測局部狀態(tài)，并通過局部網(wǎng)絡(luò)通信獲取鄰居智能代理體的局部狀態(tài)信息；

5、步驟3，每個(gè)智能代理體根據(jù)局部狀態(tài)和鄰居局部狀態(tài)，使用強(qiáng)化學(xué)習(xí)算法選擇動作；

6、步驟4，智能代理體將選擇的動作信息通過局部網(wǎng)絡(luò)通信廣播給鄰居智能代理體，鄰居智能代理體根據(jù)接收到的動作信息調(diào)整自身的q值函數(shù)；

7、步驟5，引入一致性協(xié)議，確保智能代理體之間的局部決策趨于一致；

8、步驟6，每個(gè)智能代理體定期更新局部狀態(tài)和鄰居局部狀態(tài)，并根據(jù)環(huán)境變化調(diào)整q值函數(shù)。

9、通過采用上述技術(shù)方案，這種多智能代理體協(xié)同交互方法通過結(jié)合分布式強(qiáng)化學(xué)習(xí)和一致性協(xié)議，能夠有效解決多智能體系統(tǒng)中的協(xié)作與決策問題。

10、系統(tǒng)不依賴于中央控制器，每個(gè)智能代理體獨(dú)立決策并通過局部通信實(shí)現(xiàn)協(xié)作。單個(gè)智能代理體故障不會導(dǎo)致整個(gè)系統(tǒng)崩潰。在通信中斷或部分代理失效的情況下，系統(tǒng)仍能通過局部通信和分布式?jīng)Q策繼續(xù)運(yùn)行。通過局部網(wǎng)絡(luò)通信，智能代理體僅與鄰居交換信息，避免了全局通信的高開銷。通信帶寬需求顯著降低，適合資源受限的場景（如無人機(jī)編隊(duì)、物聯(lián)網(wǎng)設(shè)備）。系統(tǒng)可擴(kuò)展性強(qiáng)，隨著智能代理體數(shù)量增加，通信開銷不會呈指數(shù)增長。

11、智能代理體通過定期更新局部狀態(tài)和調(diào)整q值函數(shù)，能夠快速響應(yīng)環(huán)境變化。在動態(tài)環(huán)境中（如障礙物移動、目標(biāo)位置變化），系統(tǒng)能夠?qū)崟r(shí)調(diào)整策略。

12、自適應(yīng)學(xué)習(xí)率和折扣因子進(jìn)一步提高了系統(tǒng)在不確定環(huán)境中的適應(yīng)性。

13、通過引入一致性協(xié)議，智能代理體之間的局部決策趨于一致，避免沖突和資源浪費(fèi)。

14、例如在多機(jī)器人協(xié)作搬運(yùn)任務(wù)中，所有機(jī)器人能夠協(xié)同移動，避免相互碰撞。

15、在智能電網(wǎng)中，分布式能源單元能夠協(xié)同調(diào)整輸出功率，確保電網(wǎng)穩(wěn)定。

16、智能代理體通過強(qiáng)化學(xué)習(xí)優(yōu)化決策，能夠高效完成任務(wù)。

17、例如：在目標(biāo)搜索任務(wù)中，智能代理體能夠快速找到最優(yōu)路徑。在資源分配任務(wù)中，智能代理體能夠公平高效地分配資源。

18、方法不依賴于智能代理體的同質(zhì)性，能夠支持不同類型、不同能力的代理體協(xié)同工作。例如：在無人機(jī)與地面機(jī)器人協(xié)作任務(wù)中，不同類型的代理體能夠根據(jù)自身能力分工協(xié)作。

19、在智能交通系統(tǒng)中，車輛、行人和交通信號燈能夠協(xié)同優(yōu)化交通流。

20、通過分布式?jīng)Q策和局部通信，每個(gè)智能代理體只需處理局部信息，降低了計(jì)算復(fù)雜度。計(jì)算資源需求分散到各個(gè)智能代理體，避免集中式計(jì)算瓶頸。

21、系統(tǒng)能夠?qū)崟r(shí)運(yùn)行，適合對響應(yīng)速度要求高的場景（如自動駕駛、機(jī)器人協(xié)作）。

22、方法適用于小規(guī)模到大規(guī)模的多智能體系統(tǒng)，能夠靈活擴(kuò)展。例如：在智能倉儲系統(tǒng)中，隨著機(jī)器人數(shù)量增加，系統(tǒng)能夠自動調(diào)整協(xié)作策略。

23、智能代理體通過共享局部狀態(tài)和動作信息，能夠加速學(xué)習(xí)過程。

24、方法能夠同時(shí)處理多個(gè)任務(wù)，并實(shí)現(xiàn)任務(wù)之間的協(xié)同優(yōu)化。

25、例如在智能工廠中，機(jī)器人能夠同時(shí)執(zhí)行搬運(yùn)、裝配和檢測任務(wù)，并優(yōu)化整體生產(chǎn)效率。

26、這種多智能代理體協(xié)同交互方法通過分布式強(qiáng)化學(xué)習(xí)、局部通信和一致性協(xié)議，實(shí)現(xiàn)了高效、魯棒、可擴(kuò)展的協(xié)同決策。提高系統(tǒng)魯棒性、減少通信開銷、增強(qiáng)動態(tài)環(huán)境適應(yīng)性、保證全局一致性、提高任務(wù)完成效率、支持異構(gòu)代理體、降低計(jì)算復(fù)雜度、增強(qiáng)可擴(kuò)展性、提高學(xué)習(xí)效率和支持多任務(wù)協(xié)同。這些效果使得該方法在機(jī)器人協(xié)作、智能交通、智能電網(wǎng)、無人機(jī)編隊(duì)等領(lǐng)域具有廣泛的應(yīng)用前景。

27、可選的，步驟6中調(diào)整q值函數(shù)引入自適應(yīng)學(xué)習(xí)率和折扣因子，提高多智能代理體協(xié)同交互在動態(tài)環(huán)境中的適應(yīng)性。

28、通過采用上述技術(shù)方案，自適應(yīng)學(xué)習(xí)率可以根據(jù)當(dāng)前環(huán)境的變化動態(tài)調(diào)整學(xué)習(xí)速率，使智能代理體能夠更快地適應(yīng)新的環(huán)境，提高學(xué)習(xí)效率。

29、自適應(yīng)學(xué)習(xí)率可以避免智能代理體在訓(xùn)練過程中出現(xiàn)過擬合現(xiàn)象，提高模型的泛化能力。

30、自適應(yīng)學(xué)習(xí)率可以提高智能代理體在動態(tài)環(huán)境中的魯棒性，使其能夠更好地應(yīng)對環(huán)境變化帶來的挑戰(zhàn)。

31、平衡短期收益和長期收益：折扣因子可以平衡智能代理體在動態(tài)環(huán)境中的短期收益和長期收益，使其能夠在追求短期目標(biāo)的同時(shí)，也能夠考慮長期目標(biāo)。

32、折扣因子可以幫助智能代理體更好地評估不同決策的長期價(jià)值，從而做出更高質(zhì)量的決策。

33、折扣因子可以提高智能代理體在動態(tài)環(huán)境中的適應(yīng)性，使其能夠更好地應(yīng)對環(huán)境變化帶來的挑戰(zhàn)。

34、可選的，q值函數(shù)計(jì)算公式是：

35、；

36、其中表示第i智能代理體在局部狀態(tài)和鄰居狀態(tài)下，選擇動作的q值；

37、是學(xué)習(xí)率，取值范圍為；是即時(shí)獎(jiǎng)勵(lì)，表示智能代理體i在執(zhí)行動作后獲得的直接獎(jiǎng)勵(lì)；是折扣因子，取值范圍為；表示智能代理體i在下一局部狀態(tài)和鄰居局部狀態(tài)下選擇動作的最大q值；是智能代理體i在下一時(shí)刻的局部狀態(tài)；是第i智能代理體鄰居的在下一時(shí)刻的局部狀態(tài)。

38、可選的，步驟5中，一致性協(xié)議公式是：

39、；

40、其中表示智能代理體i的局部狀態(tài)；智能代理體i的鄰居智能代理體j的局部狀態(tài)；表示智能代理體i的鄰居集合，鄰居集合由通信范圍和任務(wù)需求決定；是歸一化因子，用于計(jì)算智能代理體i和鄰居局部狀態(tài)的平均值。

41、可選的，局部狀態(tài)是位置、速度和傳感器數(shù)據(jù)。

42、可選的，步驟3中動作選擇公式是：

43、；

44、其中表示智能代理體i選擇的動作；是智能代理體i的動作集合；表示智能代理體i在局部狀態(tài)和鄰居局部狀態(tài)下選擇動作的q值。

45、可選的，動作是移動方向、速度調(diào)整和任務(wù)分配。

46、一種多智能代理協(xié)同交互系統(tǒng)，用于實(shí)現(xiàn)一種多智能代理協(xié)同交互方法，多智能代理體協(xié)同交互系統(tǒng)包括多個(gè)智能代理體和通信網(wǎng)絡(luò)模塊，智能代理體包括智能運(yùn)動體和協(xié)同交互模塊，所述協(xié)同交互模塊安裝在智能運(yùn)動體上，并與智能運(yùn)動體的主控芯片通信連接，所述協(xié)同交互模塊包括交互無線通信模塊、計(jì)算模塊和傳感器模塊，所述交互無線通信模塊基于通信網(wǎng)絡(luò)模塊所形成的局部網(wǎng)絡(luò)通信與相鄰智能代理體的交互無線通信模塊無線通信連接，所述計(jì)算模塊與交互無線通信模塊和傳感器模塊通信連接，所述傳感器模塊用于監(jiān)測智能運(yùn)動體的局部狀態(tài)。

47、可選的，通信網(wǎng)絡(luò)模塊基于zigbee或lora無線通信技術(shù)在多個(gè)智能運(yùn)動體的運(yùn)行范圍內(nèi)形成局部網(wǎng)絡(luò)通信，所述交互無線通信模塊基于zigbee或lora無線通信與相鄰智能代理體的交互無線通信模塊無線通信連接。

48、可選的，所述計(jì)算模塊包括緩存器和處理器，所述緩存器與交互無線通信模塊通信連接，所述處理器與緩存器通信連接，所述傳感器模塊包括攝像頭、激光雷達(dá)和慣性測量單元，所述攝像頭、激光雷達(dá)和慣性測量單元分別與緩存器通信連接。

49、通過采用上述技術(shù)方案，智能運(yùn)動體是指機(jī)器人、無人機(jī)等，協(xié)同交互模塊可以實(shí)現(xiàn)智能代理體之間的實(shí)時(shí)交互，提高協(xié)同效率。傳感器模塊可以獲取智能代理體周圍的環(huán)境信息，為智能代理體的決策提供依據(jù)。傳感器模塊可以提高智能代理體的感知能力，使其能夠更好地適應(yīng)環(huán)境變化。

50、zigbee或lora無線通信技術(shù)具有低功耗的特點(diǎn)，可以延長智能代理體的工作時(shí)間。

51、綜上所述，本發(fā)明包括以下至少一種有益技術(shù)效果：

52、多智能代理體協(xié)同交互方法通過結(jié)合分布式強(qiáng)化學(xué)習(xí)和一致性協(xié)議，能夠有效解決多智能體系統(tǒng)中的協(xié)作與決策問題。

53、不依賴于中央控制器，每個(gè)智能代理體獨(dú)立決策并通過局部通信實(shí)現(xiàn)協(xié)作。單個(gè)智能代理體故障不會導(dǎo)致整個(gè)系統(tǒng)崩潰。在通信中斷或部分代理失效的情況下，系統(tǒng)仍能通過局部通信和分布式?jīng)Q策繼續(xù)運(yùn)行。通過局部網(wǎng)絡(luò)通信，智能代理體僅與鄰居交換信息，避免了全局通信的高開銷。通信帶寬需求顯著降低，適合資源受限的場景（如無人機(jī)編隊(duì)、物聯(lián)網(wǎng)設(shè)備）。系統(tǒng)可擴(kuò)展性強(qiáng)，隨著智能代理體數(shù)量增加，通信開銷不會呈指數(shù)增長。

54、智能代理體通過定期更新局部狀態(tài)和調(diào)整q值函數(shù)，能夠快速響應(yīng)環(huán)境變化。在動態(tài)環(huán)境中（如障礙物移動、目標(biāo)位置變化），系統(tǒng)能夠?qū)崟r(shí)調(diào)整策略。

55、自適應(yīng)學(xué)習(xí)率和折扣因子進(jìn)一步提高了系統(tǒng)在不確定環(huán)境中的適應(yīng)性。

56、通過引入一致性協(xié)議，智能代理體之間的局部決策趨于一致，避免沖突和資源浪費(fèi)。

57、多智能代理體協(xié)同交互方法通過分布式強(qiáng)化學(xué)習(xí)、局部通信和一致性協(xié)議，實(shí)現(xiàn)了高效、魯棒、可擴(kuò)展的協(xié)同決策。提高系統(tǒng)魯棒性、減少通信開銷、增強(qiáng)動態(tài)環(huán)境適應(yīng)性、保證全局一致性、提高任務(wù)完成效率、支持異構(gòu)代理體、降低計(jì)算復(fù)雜度、增強(qiáng)可擴(kuò)展性、提高學(xué)習(xí)效率和支持多任務(wù)協(xié)同。這些效果使得該方法在機(jī)器人協(xié)作、智能交通、智能電網(wǎng)、無人機(jī)編隊(duì)等領(lǐng)域具有廣泛的應(yīng)用前景。