微軟人工智能首席科學家鄧力在此前接受CSDN的采訪時曾表示深度強化學習是A.I.Bots的關鍵技術，在這篇發表于venturebeat的文章中，他詳細解析了為什么需要A.I.Bots，A.I.Bots的實現，以及深度強化學習如何發揮作用。
　　在今年3月份，微軟CEOSatyaNadella談到了關于更普遍地使用人類語言與計算機設備交互的未來產業趨勢，他稱之為“對話即平臺（Conversationasa Platform）”。
　　同時，他還宣布了幾項Bot項目，其中包括微軟Bot架構（botframework）；四月份，Facebook發布了基于Bots的聊天機器人平臺MessengerPlatform；五月份，Google宣布嘗試開發AI驅動的Bots，并命名為GoogleAssistant。至此，Bots已被廣泛地視為一種新的用戶界面（UI），將從根本上改變人機交互的體驗。
　　Apps和Web模型存在的問題？
　　Apps平臺是由Apple公司多年前為智能手機開發的，隨后，Google推出了GooglePlayStore。應用平臺是基于一個統一的資源模型（模型中規定了手機滿足需求時所需的內存和處理速度），但缺點是大量的應用程序充斥著用戶的手機屏幕，盡管他們常使用的APPS不超過20個左右。
　　事實上，常用到的智能手機應用的總數目實際正在下降。總的來說，盡管數以百萬計的應用已被開發上架，但其中的大多數是從未被使用的。這無疑會導致設備資源和用戶時間（用于下載、安裝和管理Apps）大量的浪費。
　　Web模型在移動界面上表現更為糟糕。通過移動設備訪問web服務的使用量較低。這種較低的使用率源于一個事實：很多流行網站的設計和優化是為了迎合非移動的PCs端，而PCs端通常都是典型的寬帶接入方式。
　　智能手機有限的帶寬和計算資源是許多Web服務的嚴重障礙。然而，大多數網站遵循傳統地以頁面為中心的信息配置范式，導致（非移動端）瀏覽器暗中模仿閱讀器，這對移動設備而言是次優的。
　　結果：我們需要從頭開始重設設計手機用戶界面，以便于實現移動時代的全部潛力。
　　對話成為新興的移動用戶界面范式
　　幸運的是，在重新設計和部署中，一種新興的范式十分適合移動終端。這種新的對話（即平臺范式）使得移動用戶能夠發現、訪問、交互日常生活中息息相關的信息與服務，從而使得有用的信息和服務能夠自然地整合到對話流中（conversationstreams）。
　　這一對話UI范式將導致一個新的生態形成，新生的生態要比之前的Web和Apps的生態系統具有更大的規模優勢。這之所以成為可能，是因為信息產業正在進入物理世界數字化以及連接這些鏈接到物理服務的新時代。這一物理的、交互的、以服務為中心的世界遠超之前靜態網絡信息配置時代。
　　消息（Messaging）是該新的對話范式的核心，包括一系列的短文本、音頻和視頻信息。由于兼具異步和近實時兩種特性，消息變成了一個加速器，驅動著數字對話的成長。用戶無需再額外花費進行交互預先計劃的時間成本，且仍保留近實時對話的能力。
　　Bots作為智能對話接口代理
　　在對話交互中，相比于以對話為中心的移動UI范式，更為重要的是所提供的各類型智能服務。我們既有像siri、GoogleNow、Cortana和Alexa這類的智能個人助理，又有可通過自動對話接口獲取獲取的個體Bot。
　　新興對話范式的最終模式：用戶無需再下載Apps，AIBots利用語音和自然語言處理能力監控并相應消息UI，自動地將必要的服務資源（可能存在云端）提供給用戶。
　　由于最近機器學習和AI技術的巨大進步，AIbots的實現成為可能。這些進步使得我們能夠將越來越多所關心的事物自動化。過去幾年內深度學習的發展，尤其是過去一年半發展起來的深度強化學習（Deepreinforcementlearning，RL），高效地利用了不斷增長的數據和計算資源，促進了我們為世界環境和與我們生活相關的應用領域構建計算模型的能力。
　　在機器學習中，RL具有鮮明的特點。你需要從用戶處得到反饋，也必須給予用戶獎勵。就像在玩一盤暫時不知道最終獎品的國際象棋比賽。你知道與人工智能的交互會導致任務完成的結果。例如，你知道最終的目的是預定航班，但是Bot僅會說那些對于完成目標有幫助的事情，即使用戶可能無法理解bot正在努力追求的最終目標和獎勵。
　　這些進步使得自動語音和自然語言理解變得觸手可及，最終使得我們能夠解決對話理解和很多領域的對話問題。基于深度強化學習的A.I.Bots能夠理解所有領域的語義，還能夠擴展到今日尚無法涉足的領域。
　　A.I.Bots將采用迭代和反饋回路進行自我發展，并逐步趨近于完美。內置在A.I.Bots的RL組件中的環境模式能夠自動且精致地檢測、獲取、創造并積累新知識，使得我們可以開發更多的智能服務、積累更多的經驗，尤其是預定、付款等行為導向型服務。
　　A.I.Bots的三種類型
　　一般來說，存在三種類型的A.I.Bots。第一類是搜索信息，因此它的目標是明確的；第二類同樣是搜索信息，但目標不是立即明確的。例如你可能問的是一個電影院的開放時間，這不是說你的目的只局限于答案，而是獲得答案是達到看電影這個最終目標的一個步驟。對于第一種類型，獎勵是明確定義的；對于第二種類型，獎勵同樣也是相當明確的（或者將會明確定義）。
　　當使用強大的深度強化學習技術進行構建時，以上兩種Bots都有自己的、定義較為直接的獎勵函數（強化學習的關鍵組件）。這兩類Bots均可用于完成搜索信息或者完成預定機票、酒店等特定任務。
　　第三類A.I.Bot是社交Bot，它們需要的指導最多，通常也被稱為聊天Bot或閑聊Bot。該類Bot的獎賞函數（用于深度強化學習算法）–簡單地稱為“情感智能”–不能被輕易地量化。例如，可以向其進行要求咨詢，或者是詢問一些今天做什么之類的含糊問題。
　　處理社交Bot十分復雜的獎勵函數需要擴展能力，為了給該擴展能力提供數學基礎，學術界以及從業者都需要深入調查。這里的目標是將常用的RL算法（例如用于AlphaGo的關鍵學習方法）擴展成更好的算法，以便利用信息理論上的和內在動機的獎勵。
　　在轉向其他類試圖完成任務的Bot對話之前，這類獎勵會抓取用戶在與Bot對話中獲取的情感滿意度。對于計算機科學家和電氣工程師而言，這是一片十分有前景的人工智能研究領域。