《自然》啊~

　　世界上最早的科學(xué)期刊之一，也是全世界最權(quán)威及最有名望的學(xué)術(shù)期刊之一。

　　首版於月4日，到現(xiàn)在（2015年）傳承都快一百五十年了~

　　而且在今天大多數(shù)科學(xué)期刊都專一于一個(gè)特殊的領(lǐng)域不同，《自然》是少數(shù)（其它類似期刊有《科學(xué)》和《美國(guó)國(guó)家科學(xué)院院刊》）依然發(fā)表來自很多科學(xué)領(lǐng)域的一手研究論文的期刊。

　　在許多科學(xué)研究領(lǐng)域中，每年最重要、最前沿的研究結(jié)果是在《自然》中以短文章的形式發(fā)表的。

　　盡管影響因子的評(píng)價(jià)不完全客觀，但40+的影響因子可見一斑其影響力了~

　　盡管腦海中想了很多，但章杉還是不能完全理解在這上面發(fā)文的概念~

　　就在章杉無比膨脹的時(shí)候，系統(tǒng)潑冷水了：

　　“宿主在投稿0級(jí)論文的時(shí)候擁有100%的通過率，宿主在投稿1級(jí)論文的時(shí)候目前通過率為99%~”

　　“宿主投稿論文等級(jí)為n級(jí)別時(shí)，通過率相較0級(jí)每提高n級(jí)，將下降n?%的通過率~”

　　章杉：。。。

　　得，白激動(dòng)半天~

　　按照系統(tǒng)這個(gè)說法，將來投稿9級(jí)論文的時(shí)候只有19%的通過率了。

　　不過話說回來，目前系統(tǒng)里面1級(jí)論文就是發(fā)在NATURE的節(jié)奏了。

　　9級(jí)論文將來發(fā)在哪里？

　　現(xiàn)在說來，投稿nature的話自然不是100%的過通過率了。

　　而是99%的過稿率~

　　雖然這聽起來很靠譜~

　　但章杉是一貫?zāi)樅冢�中�?jiǎng)率都有翻車的時(shí)候~

　　現(xiàn)在具體會(huì)是什么結(jié)果，哪里又能說得好呢~

　　對(duì)于投稿nature的那篇，章杉全然沒興趣了，反而是對(duì)那兩個(gè)0級(jí)論文章杉興趣更濃一些~

　　雖然這兩篇論文依舊是人類佼佼者才能企及的高度。

　　但以章杉的智慧他很快就搞清楚論文《Further　　application　　of　　the　　Generative　　Adversarial　　Networks》交代的來龍去脈：

　　深度學(xué)習(xí)訓(xùn)練一個(gè)模型需要很多的人工標(biāo)注的數(shù)據(jù)。

　　在圖象識(shí)別里面，經(jīng)常可能需要上百萬的人工標(biāo)注的數(shù)據(jù)，在語(yǔ)音識(shí)別里面，可能需要成千上萬小時(shí)的人工標(biāo)注的數(shù)據(jù)，機(jī)器翻譯更是需要數(shù)千萬的雙語(yǔ)句對(duì)做訓(xùn)練，這些都是大數(shù)據(jù)的體現(xiàn)。

　　但是，很多時(shí)候找專家來標(biāo)注數(shù)據(jù)是非常昂貴的，并且對(duì)一些應(yīng)用而言，很難找到大規(guī)模的標(biāo)注的數(shù)據(jù)，例如一些疑難雜癥，或者是一些比較稀有的應(yīng)用場(chǎng)景。

　　而標(biāo)注數(shù)據(jù)的代價(jià)是極高的。

　　比如說對(duì)機(jī)器翻譯而言，現(xiàn)在如果請(qǐng)人工來翻譯，一個(gè)單詞的費(fèi)用差不多是5—10美分之間，一個(gè)句子平均長(zhǎng)度差不多是30個(gè)單詞，如果章杉需要標(biāo)注一千萬個(gè)雙語(yǔ)句對(duì)，也就是章杉需要找專家翻譯一千萬句話，這個(gè)標(biāo)注的費(fèi)用差不多是2200萬美元。

　　數(shù)據(jù)標(biāo)注的費(fèi)用是非常非常高的，讓一個(gè)創(chuàng)業(yè)公司或者一些剛剛涉足人工智能的公司拿這么大一筆資金來標(biāo)注數(shù)據(jù)是很難或者是不太可行的。

　　因此當(dāng)前深度學(xué)習(xí)的一個(gè)前沿就是如何從無標(biāo)注的數(shù)據(jù)里面進(jìn)行學(xué)習(xí)。

　　而章杉這篇文章里描述的生成式對(duì)抗網(wǎng)絡(luò)就是起到這樣的作用。

　　生成式對(duì)抗網(wǎng)絡(luò)的主要目的是學(xué)到一個(gè)生成模型，這樣生成式對(duì)抗網(wǎng)絡(luò)可以生成很多圖像，這種圖像看起來就像真實(shí)的自然圖像一樣。

　　生成式對(duì)抗網(wǎng)絡(luò)解決這個(gè)問題的思路跟以前的方法不太一樣，生成式對(duì)抗網(wǎng)絡(luò)是同時(shí)學(xué)習(xí)兩個(gè)神經(jīng)網(wǎng)絡(luò)：一個(gè)神經(jīng)網(wǎng)絡(luò)生成圖像，另外一個(gè)神經(jīng)網(wǎng)絡(luò)給圖像進(jìn)行分類，區(qū)分真實(shí)的圖像和生成的圖像。

　　在生成式對(duì)抗網(wǎng)絡(luò)里面，第一個(gè)神經(jīng)網(wǎng)絡(luò)也就是生成式神經(jīng)網(wǎng)絡(luò)，生成式對(duì)抗網(wǎng)絡(luò)的目的是希望生成的圖像非常像自然界的真實(shí)圖像，這樣的話，那后面的第二個(gè)網(wǎng)絡(luò)，也就是那個(gè)分類器沒辦法區(qū)分真實(shí)世界的圖像和生成的圖像；而第二個(gè)神經(jīng)網(wǎng)絡(luò)，也就是分類器，生成式對(duì)抗網(wǎng)絡(luò)的目的是希望能夠正確的把生成的圖像也就是假的圖像和真實(shí)的自然界圖像能夠區(qū)分開。

　　這兩個(gè)神經(jīng)網(wǎng)絡(luò)的目的其實(shí)是不一樣的，他們一起進(jìn)行訓(xùn)練，就可以得到一個(gè)很好的生成式神經(jīng)網(wǎng)絡(luò)。

　　生成式對(duì)抗網(wǎng)絡(luò)最初提出的時(shí)候，主要是對(duì)于圖像的生成。

　　章杉論文里提出來的顯然是將該方法應(yīng)用到各個(gè)不同的問題上。

　　不過論文的著重點(diǎn)還是章杉針對(duì)如何從無標(biāo)注的數(shù)據(jù)進(jìn)行學(xué)習(xí)！

　　在文中他提出了一個(gè)新思路，叫做對(duì)偶學(xué)習(xí)。

　　對(duì)偶學(xué)習(xí)的思路和前面生成式對(duì)抗學(xué)習(xí)會(huì)非常不一樣。

　　章杉發(fā)現(xiàn)很多人工智能的任務(wù)在結(jié)構(gòu)上有對(duì)偶屬性。

　　在機(jī)器翻譯里面，章杉把中文翻譯成英文，這是一個(gè)任務(wù)，但是章杉同樣也需要把英文翻譯成中文，這是一個(gè)對(duì)偶的任務(wù)。

　　這種原任務(wù)和對(duì)偶任務(wù)之間，他們的輸入和輸出正好是反著來的。

　　原本章杉還因?yàn)檎撐氖窍到y(tǒng)弄得而心存愧疚，但現(xiàn)在看來這論文完全是照著他的思路去寫的。

　　因?yàn)橹�前�?duì)多門語(yǔ)言的卓越性。

　　章杉自己本人來寫這個(gè)論文的話，最可能想到的涉及對(duì)偶屬性的應(yīng)用也是翻譯工作。

　　不過對(duì)偶工作不止于此。

　　在語(yǔ)音處理里面，語(yǔ)音識(shí)別是把語(yǔ)音轉(zhuǎn)化成文字，語(yǔ)音合成是把文字轉(zhuǎn)化成語(yǔ)音，也是互為對(duì)偶的兩個(gè)任務(wù)。

　　在圖像理解里面，看圖說話，也就是給一張圖生成一句描述性的語(yǔ)句，生成式對(duì)抗網(wǎng)絡(luò)的對(duì)偶任務(wù)是給一句話生成一張圖，這兩個(gè)任務(wù)一個(gè)是從圖像到文本，另外一個(gè)是從文本到圖像。在對(duì)話系統(tǒng)里面，回答問題和問題生成也是互為對(duì)偶的兩個(gè)問題，前者是給定問題生成答案，后者是給定答案生成問題。

　　在搜索引擎里面，給定檢索詞返回相關(guān)文檔和給定文檔或者廣告返回關(guān)鍵詞也是互為對(duì)偶的問題：搜索引擎最主要的任務(wù)是針對(duì)用戶提交的檢索詞匹配一些文檔，返回最相關(guān)的文檔；當(dāng)廣告商提交一個(gè)廣告之后，廣告平臺(tái)需要給他推薦一些關(guān)健詞使得他的廣告在用戶搜索這些詞能夠展現(xiàn)出來被用戶點(diǎn)擊。

　　對(duì)偶學(xué)習(xí)試圖把這種結(jié)構(gòu)的對(duì)偶屬性應(yīng)用在機(jī)器學(xué)習(xí)里。

　　其基本思想比較簡(jiǎn)單，章杉以機(jī)器翻譯為例子來說明。

　　當(dāng)我們想把一個(gè)中文句子翻譯成英文，可以先用一個(gè)中文到英文的翻譯模型，把這個(gè)句子翻譯成英文的句子，因?yàn)闆]有英文的標(biāo)注，所以不知道這個(gè)英文的翻譯是好還是壞以及有多好多壞。章杉再利用從英文到中文的翻譯模型，把這個(gè)英文的句子翻譯成中文的句子，這樣一來，章杉就得到了一個(gè)新的中文句子。

　　整個(gè)過程包含了正向翻譯和反向翻譯互為對(duì)偶的兩個(gè)步驟。

　　然后章杉比較原始中文的句子和后來得到的中文句子，如果兩個(gè)翻譯模型都很好的話，這兩個(gè)中文的句子應(yīng)該比較相似，如果兩個(gè)模型不好或者有一個(gè)模型不好的話，得到的兩個(gè)中文句子就不相似。因此章杉可以通過這種對(duì)偶過程從無標(biāo)注的數(shù)據(jù)獲得反饋信息，知道章杉的模型工作的好還是不好，進(jìn)而根據(jù)這些反饋信息來訓(xùn)練更新正向反向模型，從而達(dá)到從無標(biāo)注數(shù)據(jù)學(xué)習(xí)的目的。

　　章杉在機(jī)器翻譯里面做了一些實(shí)驗(yàn)，發(fā)現(xiàn)通過對(duì)偶學(xué)習(xí)的過程，章杉只需要用10%標(biāo)注的數(shù)據(jù)（大概100萬英法雙語(yǔ)句對(duì)），再加上很多沒有標(biāo)注的數(shù)據(jù)，達(dá)到用100%標(biāo)注數(shù)據(jù)（1200萬英法雙語(yǔ)句對(duì)）訓(xùn)練的模型的準(zhǔn)確度。

　　一千萬個(gè)訓(xùn)練語(yǔ)料標(biāo)注的費(fèi)用差不多2200萬美元，如果章杉能把標(biāo)注的人工費(fèi)用從2200萬美元降到200萬美元，這會(huì)是一個(gè)非常好的結(jié)果，能夠大大降低公司運(yùn)營(yíng)成本提高運(yùn)營(yíng)效率。

　　很多問題以前是因?yàn)槭芟抻跊]有標(biāo)注的數(shù)據(jù)，沒有辦法用深度學(xué)習(xí)技術(shù)。

　　現(xiàn)在章杉能夠從無標(biāo)注的數(shù)據(jù)進(jìn)行學(xué)習(xí)，那么很多應(yīng)用很多問題里面都可以應(yīng)用深度學(xué)習(xí)技術(shù)。

　　論文到這里已經(jīng)很牛了！

　　但僅僅如此嗎~

　　章杉繼續(xù)讀完，很快就震驚了！

　　因?yàn)檎撐睦锼坪跆岢隽艘环N嶄新的概念。

　　現(xiàn)在雖然深度學(xué)習(xí)很受歡迎，但是說到底深度學(xué)習(xí)主要是從大數(shù)據(jù)進(jìn)行學(xué)習(xí)，就是通過很多標(biāo)注的數(shù)據(jù)，使用深度學(xué)習(xí)算法學(xué)習(xí)得到一些模型。

　　雖然叫著人工智能的名字。

　　但是這種學(xué)習(xí)方式和人的智能是非常不一樣的。

　　人是從小樣本進(jìn)行學(xué)習(xí)。

　　人對(duì)圖像進(jìn)行分類，只需要很少幾個(gè)樣本就可以做到準(zhǔn)確分類。

　　兩三歲小孩，開始認(rèn)識(shí)世界的時(shí)候，他如果想知道什么樣的動(dòng)物是狗，我們給他看幾張狗的圖片，并且告訴他狗有什么特征，和其他動(dòng)物像貓或者羊有什么區(qū)別的話，小孩可以很快很準(zhǔn)確的識(shí)別狗。

　　但是像深度殘差神經(jīng)網(wǎng)絡(luò)，一般來說一個(gè)類別大概需要上千張圖片才能進(jìn)行比較充分的訓(xùn)練，得到比較準(zhǔn)確的結(jié)果。

　　再比如汽車駕駛，一般來說，通過在駕校的培訓(xùn)，也就是幾十個(gè)小時(shí)的學(xué)習(xí)，幾百公里的練習(xí)，大多數(shù)人就可以開車上路了。

　　但是像現(xiàn)在的無人車可能已經(jīng)行駛了上百萬公里，還是達(dá)不到人的全自動(dòng)駕駛的水平。

　　原因在于，人經(jīng)過有限的訓(xùn)練，結(jié)合規(guī)則和知識(shí)能夠應(yīng)付各種復(fù)雜的路況，但是當(dāng)前的AI還沒有邏輯思考、聯(lián)想和推理的能力，必須靠大數(shù)據(jù)來覆蓋各種可能的路況，但是各種可能的路況幾乎是無窮的。

　　隨著一項(xiàng)項(xiàng)能力的提升，章杉現(xiàn)在對(duì)人的理解也很深。

　　人的智能包含了很多方面，最基本的階段是認(rèn)知性智能，也就是對(duì)整個(gè)世界的認(rèn)知。

　　盡管現(xiàn)在對(duì)于圖象識(shí)別、語(yǔ)音識(shí)別，AI已經(jīng)差不多能達(dá)到人類的水平，當(dāng)然可能是在某些特定的約束條件下，能夠達(dá)到人類的水平。

　　但是其實(shí)這種認(rèn)知性的任務(wù)，對(duì)人類而言都是非常簡(jiǎn)單的，現(xiàn)在AI所能做的這種事情或者能達(dá)到的水平，人其實(shí)也很容易做到。

　　只是AI可能在速度上更快，并且規(guī)模上去之后成本更低，并且24小時(shí)都不需要休息。更有挑戰(zhàn)的問題是，人工智能能不能做一些人類做不了或者是很難做好的事情。

　　像圖象識(shí)別、語(yǔ)音識(shí)別這類認(rèn)知性的任務(wù)，AI之所以做得好，是因?yàn)檫@些任務(wù)是靜態(tài)的，所謂靜態(tài)就是給定輸入，預(yù)測(cè)結(jié)果不會(huì)隨著時(shí)間改變。

　　但是決策性問題，往往和環(huán)境有很復(fù)雜的交互，在某些場(chǎng)景里面，如何做最優(yōu)決策，這些最優(yōu)決策往往是動(dòng)態(tài)的，會(huì)隨著時(shí)間改變。

　　現(xiàn)在有人嘗試把AI用到金融市場(chǎng)，例如如何用AI技術(shù)來分析股票，預(yù)測(cè)股票漲跌，對(duì)股票交易給出建議，甚至是代替人來進(jìn)行股票交易，這類問題就是動(dòng)態(tài)決策性問題。

　　決策性問題的第二個(gè)難點(diǎn)在于各種因素相互影響，牽一發(fā)而動(dòng)全身。

　　一支股票的漲跌會(huì)對(duì)其他股票產(chǎn)生影響，一個(gè)人的投資決策，特別是大的機(jī)構(gòu)的投資決策，可能會(huì)對(duì)整個(gè)市場(chǎng)產(chǎn)生影響，這就和靜態(tài)的認(rèn)知性任務(wù)不一樣的。

　　在靜態(tài)認(rèn)知性任務(wù)我們的預(yù)測(cè)結(jié)果不會(huì)對(duì)問題（例如其他的圖像或者語(yǔ)音）產(chǎn)生任何影響，但是在股票市場(chǎng)，任何一個(gè)決定，特別是大的機(jī)構(gòu)的投資策略會(huì)對(duì)整個(gè)市場(chǎng)產(chǎn)生影響，對(duì)別的投資者產(chǎn)生影響，對(duì)將來會(huì)產(chǎn)生影響。無人駕駛某種程度上也是比較類似的，一輛無人車在路上怎么行駛，是由環(huán)境和很多車輛共同決定的，當(dāng)我們通過AI來控制一輛車的時(shí)候，我們需要關(guān)注周圍的車輛，因?yàn)槲覀円�考慮到周圍的車輛對(duì)于當(dāng)前這個(gè)無人車的影響，以及我們無人車（如左轉(zhuǎn)右轉(zhuǎn)或者并線）對(duì)周圍車輛的影響。

　　當(dāng)前深度學(xué)習(xí)已經(jīng)在靜態(tài)任務(wù)里面取得了很大的成功，如何把這種成功延續(xù)和擴(kuò)展到這種復(fù)雜的動(dòng)態(tài)決策問題中，也是當(dāng)前一個(gè)深度學(xué)習(xí)的挑戰(zhàn)之一。我們認(rèn)為，一個(gè)可能的思路是博弈機(jī)器學(xué)習(xí)。在博弈機(jī)器學(xué)習(xí)里，通過觀察環(huán)境和其他個(gè)體的行為，對(duì)每個(gè)個(gè)體構(gòu)建不同的個(gè)性化行為模型，AI就可以三思而后行，選擇一個(gè)最優(yōu)策略，該策略會(huì)自適應(yīng)環(huán)境的變化和其他個(gè)體的行為的改變。

　�。�。：


　　(https://www.dzxsw.cc/book/170215/8858055.html)


1秒記住大眾小說網(wǎng)：www.dzxsw.cc。手機(jī)版閱讀網(wǎng)址：m.dzxsw.cc