由Katie Driggs-Campbell教授領導的美國伊利諾伊大學香檳分校和斯坦福大學的一個研究小組最近開發了一種新的基于深度強化學習的方法，可以提高移動機器人安全導航擁擠空間的能力。他們的方法，在一篇預先發表在arXiv上的論文中介紹，是基于利用機器人周圍的人作為潛在障礙物指標的想法。

進行這項研究的研究人員之一Masha Itkina告訴說："我們的論文建立在'人作為傳感器'的研究方向上，用于在有遮擋物的情況下進行測繪。關鍵的見解是，我們可以通過觀察人類的互動行為對環境進行空間推斷，從而將人作為傳感器。例如，如果我們觀察到一個司機急剎車，我們可以推斷出一個行人可能已經跑到了該司機前面的路上。"

利用人和他們的互動行為來估計是否存在被遮擋的障礙物的想法是由Afolabi等人在2018年首次提出的，特別是在自動駕駛汽車方面。在之前的工作中，Itkina和她的同事在該小組的努力基礎上，將 "人作為傳感器 "的想法進行了概括，以便考慮到多個被觀察到的人類駕駛員，而不是單一的駕駛員（如Afolabi團隊的方法所考慮的）。

為了做到這一點，他們為自主車輛周圍的所有不同司機開發了一個 "傳感器 "模型。這些模型中的每一個都將駕駛員的軌跡映射到駕駛員前方環境的占用率網格表示。隨后，利用傳感器融合技術，這些占用率估計被納入自主機器人的地圖。

Itkina說："在我們最近的論文中，我們通過在強化學習管道中考慮閉塞推斷來完成這一循環。我們的目的是證明閉塞推斷對下游路徑規劃器是有益的，特別是當空間表示是任務感知的。為了實現這一目標，我們構建了一個端到端的架構，同時學習推斷閉塞，并輸出一個成功和安全地到達目標的策略。"

以前開發的大多數將人視為傳感器的模型是專門為在城市環境中實施而設計的，以提高自主車輛的安全性。另一方面，新模型的設計是為了提高移動機器人在人群中的導航能力。

對于自主系統來說，人群導航任務通常比城市駕駛任務更加困難，因為人類在人群中的行為不太有條理，因此更加不可預測。研究人員決定使用一個深度強化學習模型來解決這些任務，該模型集成了一個由變異自動編碼器（VAE）學習的閉塞感知的潛在空間。

這項研究的第一作者Ye-Ji Mun告訴TechXplore說："我們首先在局部占用網格圖中表示機器人的周圍環境，這很像機器人周圍障礙物的鳥瞰圖或俯視圖。這種占位網格圖使我們能夠在網格區域內捕捉豐富的互動行為，而不考慮物體和人的數量或大小和形狀。"

研究人員的模型包括一個閉塞推理模塊，該模塊經過訓練可以提取觀察到的社會行為，例如從收集到的地圖輸入序列中放慢速度或轉彎以避免碰撞。隨后，它使用這些信息來預測被遮擋的物體或代理人可能位于何處，并使用VAE架構將這種 "增強的感知信息 "編碼到低維的潛在表示中。

Mun解釋說："由于我們的閉塞推理模塊只提供了對周圍人類代理人的部分觀察，我們還有一個監督者模型，其潛在向量在訓練期間對觀察到的和閉塞的人類代理人的空間位置進行編碼。通過將我們的閉塞模塊的潛空間與監督者模型的潛空間相匹配，我們通過將觀察到的社會行為與被閉塞的人類代理的空間位置聯系起來，增強了感知信息。"

由此產生的閉塞感知潛在表征最終被送入一個深度強化學習框架，鼓勵機器人在完成任務的同時主動避免碰撞。Itkina、Mun和他們的同事在一系列的實驗中測試了他們的模型，包括在模擬環境和現實世界中，使用移動機器人Turtlebot 2i。

Mun說："我們成功地實現了'人作為傳感器'的概念，以增強有限的機器人感知力，并進行遮擋感知的人群導航"我們證明了我們的閉塞感知策略比有限視角導航實現了更好的導航性能（即更好的避免碰撞和更平滑的導航路徑），并與全知視角導航相媲美。據我們所知，這項工作是第一個將社會遮擋推理用于人群導航的工作。"

在他們的測試中，Itkina、Mun和他們的同事還發現，他們的模型產生了不完美的地圖，其中不包含觀察到的代理人和估計的代理人的確切位置。相反，他們的模塊學會了專注于估計附近的'關鍵代理'的位置，這些代理可能被遮擋，并可能阻擋機器人走向所需位置的路徑。

Mun說："這一結果意味著，在一個部分可觀察的、擁擠的環境中，完整的地圖不一定是更好的導航地圖，而是專注于少數有潛在危險的代理人更為重要。“

這個研究小組收集的初步結果是非常有希望的，因為它們強調了他們的方法在減少機器人在擁擠環境中與障礙物的碰撞方面的潛力。在未來，他們的模型可以在現有的和新開發的移動機器人上實施，這些機器人被設計用來導航商場、機場、辦公室和其他擁擠的環境。

Itkina補充說："這項工作的主要動機是捕捉在人類周圍導航時類似人類的直覺，特別是在遮擋的環境中。我們希望更深入地研究捕捉人類的洞察力，以提高機器人的能力。具體來說，我們對如何同時對環境進行預測和推斷閉塞情況感興趣，因為這兩項任務的輸入都涉及對人類行為的歷史觀察。我們也在思考這些想法如何能夠轉移到不同的環境中，如倉庫和輔助機器人技術。”