（視覺）

　　芮勇：大家可以想一想，如果能做到這樣的水平，今后無論是無人機(jī)還是無人駕駛，很多應(yīng)用都可以做了。

　　這是我剛才提到的第一個(gè)問題，就是對(duì)物體的識(shí)別，比這個(gè)更難的是我們是不是理解了，計(jì)算機(jī)是不是理解了某一個(gè)圖片。我們看一看。Beyond遠(yuǎn)遠(yuǎn)超過了計(jì)算機(jī)視覺。如果只是用最近的方式去做搜索，其實(shí)它并沒有理解，比如說你的一個(gè)輸入是靠左邊這個(gè)人，它就把右邊這幾個(gè)從搜索引擎返回，這個(gè)并不是理解，這還算不上理解。真正的理解是什么呢？我給計(jì)算機(jī)看到有這么一幅圖片，它能生成一句話，說本和他的爸爸在迪士尼樂園玩。

　　我如果讓計(jì)算機(jī)看這么一幅圖，下面我想跟大家做一個(gè)小的互動(dòng)，在這個(gè)具體的問題上，我們能不能超過圖靈測(cè)試，有兩句話：第一句話叫做一個(gè)人在網(wǎng)球場(chǎng)上手拿著一個(gè)網(wǎng)球拍，測(cè)試大家的英文是不是還記得。第二句話：有一個(gè)人在網(wǎng)球場(chǎng)上打一場(chǎng)比賽。大家覺得這兩句話哪一個(gè)是人寫出來的？哪一個(gè)是機(jī)器寫出來的。

　　（舉手）

　　勇：基本上50%50%，我們看看哪個(gè)是人寫的哪個(gè)是機(jī)器寫的。上面的是機(jī)器寫的，如果在座的諸位是50%的話，已經(jīng)可以通過圖靈測(cè)試了。

　　我們?cè)僭囈活}，上面停了一輛自行車，有兩句話，一句話是小河邊停了一輛自行車，第二句話是水體旁邊有一輛自行車停在。哪句是計(jì)算機(jī)寫的？

　　（舉手）

　　芮勇：現(xiàn)在大不部分人認(rèn)為下面一句話是計(jì)算機(jī)寫的。我們來看看，下面是人寫的。我們又一次通過了圖靈測(cè)試。

　　這是給計(jì)算機(jī)看一個(gè)圖片，它生成的這么一句話，比那更難一點(diǎn)的是前一陣奧巴馬一家?guī)е『碓L問，我們?nèi)绻層?jì)算機(jī)看到這么一幅圖片，它如果只是告訴我有幾個(gè)人在拍照也沒意思，它如果有本事告訴我說，Sasha奧巴馬、米歇爾奧巴馬，彭麗媛，我們大概前50萬名人都能認(rèn)出來是誰，并且我們生成了一句話說，這幾個(gè)人在故宮前面拍照，已經(jīng)可以達(dá)到這樣的水平。

　　再往下看，具體算法可能沒有那么多時(shí)間去講。但基本上是從名人到具體的物體，通過各種深度學(xué)習(xí)的方式能生成出這么一個(gè)自然語言的話。

　　我們?cè)偻驴矗@就是整個(gè)的流程，算法等等就不用花時(shí)間去看了。已經(jīng)可以讓計(jì)算機(jī)看到一個(gè)圖片，講出一句還挺像樣的話，下面還可以往哪里走，我覺得至少四個(gè)方向可以走。第一個(gè)方向是說在語義的層面上，Go higher，我們能不能想到一些沒講出來，但它能推理出來的意思。第二個(gè)我們給它看一段視頻是不是也能講出一段話，Go longer。第三個(gè)是它能跟我聊天。第四個(gè)我可以問他具體問題，他能回答。

　　第一個(gè)，Go higher，如果我給計(jì)算機(jī)看這么一幅圖片，今天能做到的水平就是這樣，有一群象，前面有一個(gè)人，這是我們之前可以做到的水平。今天可以做到的水平，因?yàn)橛袑?shí)體，我們可以說一群象在奧巴馬的旁邊，因?yàn)槲覀兛梢宰R(shí)別出這個(gè)人是奧巴馬。我們希望做到什么水平？它引申的一些含義，我們?nèi)藖砜吹竭@個(gè)可以想到很多引申含義，今年正好是美國總統(tǒng)大選年，民主黨是驢，奧巴馬是民主黨，共和黨是象，它的意思是說奧巴馬被共和黨的一些競(jìng)選者在追趕，我們今后如果能生成這樣一句話，我們對(duì)圖片的理解真是到了一種認(rèn)知的水平，但還沒有做到。

　　第二個(gè)，Go longer，我們給它看視頻，它也能生成一句話，當(dāng)然這里面有很多的算法，具體算法我就不一一介紹，基本上是用一個(gè)深度學(xué)習(xí)的網(wǎng)絡(luò)，然后目標(biāo)函數(shù)里面由兩種疊加在一起的新的水平。

　　這是我提的兩個(gè)方向，第一個(gè)把它的隱身含義講出來，第二個(gè)是把視頻也能夠用文字的形式表達(dá)出來。第三個(gè)我想提的是，比如說我們今天跟小冰聊天，我們敲一段文字，它也能回一段文字，我們給它上傳一張圖片，它是不是也能跟我們聊呢？今天它也能了。它今天可以做到的水平是，如果我上傳了一張圖片，它會(huì)說小眼神太犀利了，這就像人在聊天一樣，已經(jīng)可以做到這樣的水平。比如說你想秀秀六塊腹肌，它會(huì)跟你說大叔真牛。不僅僅是文字的聊天，圖片也可以聊天，這都是得益于我們對(duì)計(jì)算機(jī)視覺技術(shù)的發(fā)展和深度學(xué)習(xí)的發(fā)展。

　　第四個(gè)方向，稍微花多點(diǎn)時(shí)間講講，我覺得這是很有意思的方向，不僅對(duì)科研、產(chǎn)業(yè)界來說都很有意思。叫做Visual Question Answering，我問計(jì)算機(jī)一個(gè)問題，什么東西在自行車筐里？我們希望它的答案是說狗，但是想做到這一點(diǎn)很難，你首先知道自行車在哪兒，筐在哪兒，筐里有什么東西，都不容易，但今天我們有技術(shù)，能夠把這個(gè)做到。怎么做到呢？我稍微提一下這個(gè)算法。

　　四個(gè)部分，兩個(gè)輸入，第一個(gè)是你問的問題是什么，你問的問題是說自行車的筐里面是什么，這是一句話，這是第一步。第二步是你同時(shí)還給計(jì)算機(jī)看一個(gè)圖片，有個(gè)Image model，我們用深度學(xué)習(xí)的方式把兩種不同的模式做兩次之后，就知道和這個(gè)問題最有關(guān)的部分就在亮的這個(gè)部分，這就是和問題發(fā)生關(guān)系的地方。如果知道這個(gè)區(qū)域和這個(gè)問題發(fā)生關(guān)系就有很大的可能性知道答案。

　　還有更多的幾個(gè)例子要跟大家分享，比如我們讓計(jì)算機(jī)看這幅圖片，問：在一片空曠的海灘上，兩個(gè)藍(lán)色的椅子中間那是什么物體？這是它答案的過程，第二層聚焦到傘，一把太陽傘。還有更多的例子，在一片泥濘的土路上，什么東西在拖著馬車？答案是馬在拖著馬車。右邊那個(gè)，筐的顏色是什么？答案是紅色的。右下角這個(gè)女士戴著兩只紅色牛的角，答案是說紅色的，它知道牛角的顏色是紅色的。這些都是我們今天通過計(jì)算機(jī)視覺的方式達(dá)到問題的回答水平。

　　剛才回顧過去50年計(jì)算機(jī)視覺發(fā)展的歷程，從最早的特征提取，有直線轉(zhuǎn)角，直到說這是一個(gè)戶外的場(chǎng)景，場(chǎng)景里面有人，到說這個(gè)圖片里面這個(gè)人的名字是什么，到生成一句話來描述這個(gè)圖片，到最后我剛才提到的Visual QA，還有很長的路要走，就是我們看到圖能講出一個(gè)故事來，這是我們今后要做的事情。

　　我今天的題目叫《計(jì)算機(jī)視覺從感知到認(rèn)知的長征》，長征大家也知道，最早是從江西的瑞金開始長征的，很具有里程碑的事件就是遵義會(huì)議，最后很成功的走到陜甘邊區(qū)，今天的計(jì)算機(jī)視覺也是一個(gè)長征，但還沒有到達(dá)陜甘邊區(qū)，今天2016年我們?nèi)〉昧撕艽蟮某删停芟褡窳x會(huì)議取得的成就，但今后還有很長的路要走，這就是長征的一部分，怎么樣最后到達(dá)陜北，至少三個(gè)方向可以想。第一個(gè)是計(jì)算機(jī)學(xué)習(xí)算法的本身。今天“深度學(xué)習(xí)”這個(gè)詞很熱。今天因?yàn)橛辛撕玫乃惴ǎ疃葘W(xué)習(xí)算得很成功。

　　第一塊很重要的能讓我們到達(dá)陜北的就是計(jì)算機(jī)學(xué)習(xí)算法。第二個(gè)就是我們需要一些計(jì)算機(jī)的科學(xué)家，我們也需要和一些垂直行業(yè)的朋友們一起來做這件事情，比如我們是和做金融的朋友們，就像上午楊強(qiáng)講的，我們能預(yù)測(cè)股票市場(chǎng)。我們?nèi)绻投t(yī)療的朋友來做，可不可以做出更精準(zhǔn)的醫(yī)療，如果和植物所的朋友來做這件事情，是不是可以做出一個(gè)用手機(jī)拍照任意的花，或者一個(gè)樹，我就知道這個(gè)花叫什么名字，樹叫什么名字，最早從哪里來？等等。我想說這個(gè)的目的就是除了機(jī)器學(xué)習(xí)的專家之外，還要和很多垂直行業(yè)領(lǐng)域的專家一起合作這件事情。

　　第三個(gè)，右下角這個(gè)圈我覺得也一樣重要，我們需要高質(zhì)量的數(shù)據(jù)，這三點(diǎn)如果我們都能做到了，機(jī)器學(xué)習(xí)算法本身的進(jìn)步，我們和行業(yè)的專家們的合作和更多的數(shù)據(jù)的獲取，我們就能從瑞金經(jīng)過遵義到達(dá)陜北。