別緊張!這只是算力上的勝利

1、別緊張！這只是算力上的勝利近日，硅谷“鋼鐵俠”馬斯克創(chuàng)立的人工智能非營利組織 OpenAI 宣布，由 5個神經(jīng)網(wǎng)絡(luò)組成的 OpenAI Five ，已經(jīng)能夠組成 5v5團(tuán)隊(duì)在 經(jīng)典戰(zhàn)斗競技類游戲刀塔 2（ Dota2）中擊敗人類業(yè)余玩家隊(duì)伍。 7 月底，他們還將挑戰(zhàn)人類頂級玩家隊(duì)伍。去年，他們開發(fā)的 AI 就在 刀塔 2的 1v1 比賽中戰(zhàn)勝了人類職業(yè)玩家 Dendi。 從單挑到團(tuán)戰(zhàn)， 展現(xiàn)集體協(xié)作能力 據(jù)報(bào)道， OpenAI Five 完全通過自我對戰(zhàn)來學(xué)習(xí)打 游戲，每天的對戰(zhàn)量相當(dāng)于人類的 180 年。也就是說，如果人一天能 打 10 局游戲，那么 AI 一天就可以打 10× 3

2、65×180 局游戲。而且，它 還創(chuàng)下了驚人的硬件消耗量紀(jì)錄： 256 塊圖形處理器（ GPU）和 12.8 萬 個中央處理器（ CPU）。 中國科學(xué)院自動化研究所研究員興軍亮告訴 科技日報(bào)記者， OpenAI Five 是從去年的 1V1版本上發(fā)展而來的。一開 始， AI 隨便亂打，不斷試錯。通過強(qiáng)化學(xué)習(xí)算法獲得游戲獎勵信號的 引導(dǎo)，一段時間后它就能發(fā)現(xiàn)并記住一些具有簡單意義的動作，然后 再不斷試錯自我提升，直到最后能夠更好地完成游戲目標(biāo)，一對一戰(zhàn) 勝人類選手?！?OpenAI Five 就是五個 AI 組成一個團(tuán)隊(duì)互相對戰(zhàn)，團(tuán) 隊(duì)中的每個成員本身對應(yīng)一個獨(dú)立的 AI ，同樣通過強(qiáng)

3、化學(xué)習(xí)打游戲， 但在學(xué)習(xí)的過程中，每個 AI 會考慮用其他四個 AI 的策略去打，這樣 五個 AI 就組成了一支團(tuán)隊(duì)，去跟五個人類業(yè)余選手對戰(zhàn)?！迸d軍亮說。 至于為何每天對戰(zhàn)量是人類的 180 年，興軍亮解釋， AI 在學(xué)習(xí)時可以 很快，比如在程序中把游戲時鐘調(diào)快 100倍，那么 AI 打 1天游戲就相 當(dāng)于人類打 100 天。同時， AI 一秒鐘可點(diǎn)擊 1 萬下，這個點(diǎn)擊速度人 類根本沒法比。但在與人類對戰(zhàn)時，這是不允許的，必須有一定限制， 比如每次點(diǎn)擊間隔不低于 3040 毫秒。 這次事件之所以被比爾·蓋 茨稱為“里程碑”，是因?yàn)?OpenAI Five 展現(xiàn)出了類似于人的長期規(guī)

4、 劃和團(tuán)隊(duì)協(xié)作能力，也展現(xiàn)了極高的智能決策能力。 然而，興軍亮認(rèn) 為， OpenAI Five 團(tuán)戰(zhàn)戰(zhàn)勝的僅僅是人類業(yè)余選手，至多算一個“小小 的”里程碑。諸多跡象表明， OpenAI Five 存在多種局限性，遠(yuǎn)不如 AlphaGo 在圍棋上取得的里程碑式突破“完虐”人類頂級圍棋玩家。首先， OpenAI Five 打 5V5團(tuán)戰(zhàn)時，只能使用特定的游戲英雄，做不到 隨便組合游戲角色。其次，在星際爭霸刀塔 2這類復(fù)雜游戲中， OpenAI Five 僅僅是再次證明，在強(qiáng)化學(xué)習(xí)打游戲這件事上，人工智能 可通過提高現(xiàn)有算力超過人類，但在算法上并沒有太多理論創(chuàng)新。 7 月 28 日，OpenAI將與

5、一組頂級玩家比賽，他們的目標(biāo)是在 8 月份擊敗 國際頂級職業(yè)團(tuán)隊(duì)?！?OpenAI 有可能在短時間內(nèi)，通過自我博弈強(qiáng)化 學(xué)習(xí)，再次打贏人類頂級玩家。它此前失敗過很多次，不斷找人類 PK 也是為了測試算法。不過，刀塔 2涉及長期策略規(guī)劃問題，人類可 能更加擅長?！迸d軍亮說。 打刀塔 VS下圍棋，難度超過數(shù)個量級 刀塔 2游戲?qū)τ?OpenAI來說有多難？興軍亮表示，刀塔 2由 于操作和規(guī)則更為復(fù)雜，難度超過 AlphaGo 下圍棋的好多個數(shù)量級， 5V5對戰(zhàn)難度又超過 1V1對戰(zhàn)好多個數(shù)量級。 “圍棋是確定邊界、完 全信息、回合制的簡單游戲，刀塔 2是相對復(fù)雜邊界、不完全信息 下、動態(tài)的實(shí)時博弈

6、?！迸d軍亮說。 星際爭霸和刀塔 2都屬 于實(shí)時策略游戲，這類游戲本身存在的典型難題是角色空間非常大， 決策周期長，在不完全信息博弈下，要猜測對方的狀態(tài)，這要求 AI 嘗 試計(jì)算出各種可能情況下的策略，瞬間擴(kuò)大成高維爆炸式的搜索空間。 其次，AI 團(tuán)隊(duì)協(xié)作也是一個難點(diǎn)，這意味著 AI 要同時控制多個單元， 進(jìn)行多智能體的協(xié)作和協(xié)同，有時還要犧牲個別單元的局部利益去滿 足整體利益，這是群體智能學(xué)習(xí)需要克服的重要難題。 更深層次的難 點(diǎn)是，如何通過游戲，讓 AI 不是靠速度，而是靠決策和推理取勝。 IBM“深藍(lán)”也是依靠強(qiáng)大算力將人類打敗。但“深藍(lán)”是對計(jì)算智能 的突破，也就是算得比人類快，下一步人

7、工智能界期望在認(rèn)知智能上 有新的突破。 涉及推理決策，邁出認(rèn)知智能“一小步” 為何有人熱 衷研究游戲 AI ？“當(dāng)前研究得比較多的語音識別、人臉識別等技術(shù)屬 于感知智能，要達(dá)到正確識別，只需告訴 AI 某事物是什么即可。然而， 更難的是認(rèn)知智能，它牽涉到推理決策?！迸d軍亮表示。 游戲 AI 涉 及推理和決策問題，同時，游戲博弈體現(xiàn)的不完全信息和動態(tài)博弈特 性是現(xiàn)實(shí)環(huán)境的一個很好模擬，加之游戲環(huán)境可控制，可快速運(yùn)行， 不會造成額外損失。興軍亮認(rèn)為，“這使得游戲 AI 成為下一步極佳的 人工智能驗(yàn)證平臺。”中科院自動化所目前在進(jìn)行相關(guān)游戲 AI 研究， 在國際星際爭霸游戲 AI 大賽上取得了較好成

8、績。 雖然 OpenAI團(tuán) 戰(zhàn)戰(zhàn)勝人類業(yè)余選手，相當(dāng)于將人工智能的認(rèn)知智能往前推進(jìn)了一小 步，但即便下一步它戰(zhàn)勝人類頂級選手，進(jìn)一步對認(rèn)知智能做出貢獻(xiàn)， 仍舊不代表認(rèn)知智能取得了真正突破。因?yàn)樗鼪]有把認(rèn)知智能的問題 完全解決掉。就好比 AI 能夠做對一套考卷，的確可以證明分?jǐn)?shù)高，但 是否能說明其達(dá)到了很高的學(xué)習(xí)水平，還不能確定。 “人工智能下一 階段難題，是怎么去突破認(rèn)知智能。真正的認(rèn)知智能還有很多問題沒 有解決，比如推理過程的表示、決策優(yōu)化算法等。如何讓 AI 使用更少 的計(jì)算量做到更好的推理和決策，讓 AI 消化吸收學(xué)習(xí)的速度更快等?！?興軍亮認(rèn)為，無需擔(dān)心機(jī)器能在所有問題上戰(zhàn)勝人類，這件

9、事離我們 還相當(dāng)遙遠(yuǎn)。 倫敦大學(xué)計(jì)算機(jī)學(xué)院教授汪軍說， AlphaGo之后， AI 領(lǐng) 域的下一大挑戰(zhàn)是多智能體強(qiáng)化學(xué)習(xí)( MAR)L ，即讓多個智能體學(xué)會 合作與競爭。刀塔星際爭霸還有更多人熟悉的王者榮耀， 都屬于多智能體強(qiáng)化學(xué)習(xí)。 “游戲 AI 上的算法突破，可以遷移應(yīng)用 在互聯(lián)網(wǎng)廣告、自動駕駛和機(jī)器人導(dǎo)航等場景，只是沒辦法自動適應(yīng) 其他模型，比如游戲 AI 不可能直接去自動駕駛。遷移過程需要人的參 與，人會根據(jù)應(yīng)用特點(diǎn)，從程序上設(shè)計(jì)問題的輸入輸出，從優(yōu)化目標(biāo) 上也要做相應(yīng)調(diào)整。游戲打輸沒關(guān)系，但自動駕駛 AI 算法一旦失敗， 面臨的損失是人類無法承受的，所以這些領(lǐng)域上的 AI 算法應(yīng)用周期會 更長，只有經(jīng)過更嚴(yán)格的測試，非常成熟可靠時才可以運(yùn)