世界上最大的工業(yè)機器人公司發(fā)那科，正在開發(fā)可以通過“強化學習”訓練的新一代機器人。

　　發(fā)那科東京辦公室里有一臺極聰明的工業(yè)機器人。給它一份簡單的工作，比如從一個箱子里拿出某種零件并放入另一個箱子里，它將會花一晚上的時間來學習如何把這份工作做的更好。第二天，它就能成為這份工作的熟手，就像曾有個專家給它編寫控制程序一樣。

　　去年12月，在東京舉辦的2015國際機器人展中，發(fā)那科展示了通過強化學習來訓練的機器人

　　工業(yè)機器人可以實現(xiàn)無比精準且快速的動作，例如抓取，這都是通過非常復(fù)雜的編程來實現(xiàn)的。編寫機器人的控制程序是非常困難并且費時的，所以工業(yè)機器人只能在嚴格控制的環(huán)境下使用。

　　發(fā)那科意圖改變這一事實。

　　發(fā)那科的新一代機器人將使用“深度強化學習”的技巧來訓練自己。當這臺機器人執(zhí)行的動作時，比如拿起零件，它會同時對此錄像。不論成功還是失敗，這都可以讓它記住這個零件的模樣。這些數(shù)據(jù)會被用來優(yōu)化它的深度學習模型。而深度學習模型，是一個用來控制機器人的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。近幾年，深度強化學習用于模式識別是一個非常有效的工具。

　　“在8個小時的自學之后，它可以達到90%的準確率。這幾乎和一臺專家編寫控制程序的機器人一樣”，東京人工智能公司Preferred Networks的 CRO Shohei Hido解釋說，“它可以通宵工作，當?shù)诙靵淼綍r，它已經(jīng)把自己調(diào)整好了。”

　　機器人研究人員正在測試，強化學習是否可以加速并簡化工業(yè)機器人的編程問題。本月初，谷歌公司發(fā)表了他們使用強化學習來訓練機器人拿放物體的研究報告。發(fā)那科的機器人使用的則是Preferred Networks所編寫的程序。

　　去年8月，作為全世界最大的工業(yè)機器人公司，發(fā)那科對Preferred Networks投資730萬美金后，這兩家公司在12月東京舉辦的2015國際機器人展中展示了他們“自學機器人”的厲害。

　　Hido表示，使用“學習”來編寫控制程序的好處之一就是當幾個機器人協(xié)同工作時，他們可以通過分享各自的數(shù)據(jù)以及學到的知識來加速學習（2016年十大突破技術(shù)之一）。所以，八臺機器人協(xié)同工作一小時后的表現(xiàn)和一臺機器人工作八小時后的表現(xiàn)是極其相似的。“我們的目標是分散學習”，Hido說，“你可以想象一下，在一家工廠里，有數(shù)百個機器人相互分享信息”。

　　這種分散學習的技巧被稱為“云機器人”，是目前機器人行業(yè)中最火的潮流。

　　“以發(fā)那科在行業(yè)中的地位，他們考慮強化學習技術(shù)是非常合適的”，加州大學伯克利分校的機器人學教授肯-戈德堡（KenGoldberg）說。因為發(fā)那科在全世界出售并安裝過數(shù)量龐大的工業(yè)機器人，云機器人將會改變他們對機器人的使用方式。

　　戈德堡與同事們（包括谷歌的幾位研究員）將這一技術(shù)提升到了一個新高度，他們教機器人如何通過某種動作去抓取某種形狀的物體，而不僅限于抓取特定物品。他們將在今年5月舉辦的IEEE機器人及自動控制學國際大會上發(fā)表相關(guān)的論文。

　　但是，戈德堡表示在機器人上實現(xiàn)機器學習比一般的電腦系統(tǒng)要難很多。因為控制行動比在圖像中識別圖形復(fù)雜很多。“深度學習在模式識別方面得到了非常成功的發(fā)展”，戈德堡說，“你做的遠遠不止是機器人，在大量輸入的情況下，你要能為機器人設(shè)計相符的行為”。

　　發(fā)那科不是唯一一家正在開發(fā)使用機器學習的機器人公司。在2014年，瑞士的機器人公司ABB投資了一家叫Vicarious的人工智能創(chuàng)業(yè)公司。不過，這項投資還沒有任何結(jié)果。