生成式對抗網絡解決這個問題的思路跟以前的方法不太一樣，生成式對抗網絡是同時學習兩個神經網絡：一個神經網絡生成圖像，另外一個神經網絡給圖像進行分類，區分真實的圖像和生成的圖像。

　　在生成式對抗網絡里面，第一個神經網絡也就是生成式神經網絡，生成式對抗網絡的目的是希望生成的圖像非常像自然界的真實圖像，這樣的話，那后面的第二個網絡，也就是那個分類器沒辦法區分真實世界的圖像和生成的圖像；而第二個神經網絡，也就是分類器，生成式對抗網絡的目的是希望能夠正確的把生成的圖像也就是假的圖像和真實的自然界圖像能夠區分開。

　　這兩個神經網絡的目的其實是不一樣的，他們一起進行訓練，就可以得到一個很好的生成式神經網絡。

　　生成式對抗網絡最初提出的時候，主要是對于圖像的生成。

　　章杉論文里提出來的顯然是將該方法應用到各個不同的問題上。

　　不過論文的著重點還是章杉針對如何從無標注的數據進行學習！

　　在文中他提出了一個新思路，叫做對偶學習。

　　對偶學習的思路和前面生成式對抗學習會非常不一樣。

　　章杉發現很多人工智能的任務在結構上有對偶屬性。

　　在機器翻譯里面，章杉把中文翻譯成英文，這是一個任務，但是章杉同樣也需要把英文翻譯成中文，這是一個對偶的任務。

　　這種原任務和對偶任務之間，他們的輸入和輸出正好是反著來的。

　　原本章杉還因為論文是系統弄得而心存愧疚，但現在看來這論文完全是照著他的思路去寫的。

　　因為之前對多門語言的卓越性。

　　章杉自己本人來寫這個論文的話，最可能想到的涉及對偶屬性的應用也是翻譯工作。

　　不過對偶工作不止于此。

　　在語音處理里面，語音識別是把語音轉化成文字，語音合成是把文字轉化成語音，也是互為對偶的兩個任務。

　　在圖像理解里面，看圖說話，也就是給一張圖生成一句描述性的語句，生成式對抗網絡的對偶任務是給一句話生成一張圖，這兩個任務一個是從圖像到文本，另外一個是從文本到圖像。在對話系統里面，回答問題和問題生成也是互為對偶的兩個問題，前者是給定問題生成答案，后者是給定答案生成問題。

　　在搜索引擎里面，給定檢索詞返回相關文檔和給定文檔或者廣告返回關鍵詞也是互為對偶的問題：搜索引擎最主要的任務是針對用戶提交的檢索詞匹配一些文檔，返回最相關的文檔；當廣告商提交一個廣告之后，廣告平臺需要給他推薦一些關健詞使得他的廣告在用戶搜索這些詞能夠展現出來被用戶點擊。

　　對偶學習試圖把這種結構的對偶屬性應用在機器學習里。

　　其基本思想比較簡單，章杉以機器翻譯為例子來說明。

　　當我們想把一個中文句子翻譯成英文，可以先用一個中文到英文的翻譯模型，把這個句子翻譯成英文的句子，因為沒有英文的標注，所以不知道這個英文的翻譯是好還是壞以及有多好多壞。章杉再利用從英文到中文的翻譯模型，把這個英文的句子翻譯成中文的句子，這樣一來，章杉就得到了一個新的中文句子。

　　整個過程包含了正向翻譯和反向翻譯互為對偶的兩個步驟。

　　然后章杉比較原始中文的句子和后來得到的中文句子，如果兩個翻譯模型都很好的話，這兩個中文的句子應該比較相似，如果兩個模型不好或者有一個模型不好的話，得到的兩個中文句子就不相似。因此章杉可以通過這種對偶過程從無標注的數據獲得反饋信息，知道章杉的模型工作的好還是不好，進而根據這些反饋信息來訓練更新正向反向模型，從而達到從無標注數據學習的目的。

　　章杉在機器翻譯里面做了一些實驗，發現通過對偶學習的過程，章杉只需要用10%標注的數據（大概100萬英法雙語句對），再加上很多沒有標注的數據，達到用100%標注數據（1200萬英法雙語句對）訓練的模型的準確度。

　　一千萬個訓練語料標注的費用差不多2200萬美元，如果章杉能把標注的人工費用從2200萬美元降到200萬美元，這會是一個非常好的結果，能夠大大降低公司運營成本提高運營效率。

　　很多問題以前是因為受限于沒有標注的數據，沒有辦法用深度學習技術。

　　現在章杉能夠從無標注的數據進行學習，那么很多應用很多問題里面都可以應用深度學習技術。

　　論文到這里已經很牛了！

　　但僅僅如此嗎~

　　章杉繼續讀完，很快就震驚了！

　　因為論文里似乎提出了一種嶄新的概念。

　　現在雖然深度學習很受歡迎，但是說到底深度學習主要是從大數據進行學習，就是通過很多標注的數據，使用深度學習算法學習得到一些模型。

　　雖然叫著人工智能的名字。

　　但是這種學習方式和人的智能是非常不一樣的。

　　人是從小樣本進行學習。

　　人對圖像進行分類，只需要很少幾個樣本就可以做到準確分類。

　　兩三歲小孩，開始認識世界的時候，他如果想知道什么樣的動物是狗，我們給他看幾張狗的圖片，并且告訴他狗有什么特征，和其他動物像貓或者羊有什么區別的話，小孩可以很快很準確的識別狗。

　　但是像深度殘差神經網絡，一般來說一個類別大概需要上千張圖片才能進行比較充分的訓練，得到比較準確的結果。

　　再比如汽車駕駛，一般來說，通過在駕校的培訓，也就是幾十個小時的學習，幾百公里的練習，大多數人就可以開車上路了。

　　但是像現在的無人車可能已經行駛了上百萬公里，還是達不到人的全自動駕駛的水平。

　　原因在于，人經過有限的訓練，結合規則和知識能夠應付各種復雜的路況，但是當前的AI還沒有邏輯思考、聯想和推理的能力，必須靠大數據來覆蓋各種可能的路況，但是各種可能的路況幾乎是無窮的。

　　隨著一項項能力的提升，章杉現在對人的理解也很深。

　　人的智能包含了很多方面，最基本的階段是認知性智能，也就是對整個世界的認知。

　　盡管現在對于圖象識別、語音識別，AI已經差不多能達到人類的水平，當然可能是在某些特定的約束條件下，能夠達到人類的水平。

　　但是其實這種認知性的任務，對人類而言都是非常簡單的，現在AI所能做的這種事情或者能達到的水平，人其實也很容易做到。

　　只是AI可能在速度上更快，并且規模上去之后成本更低，并且24小時都不需要休息。更有挑戰的問題是，人工智能能不能做一些人類做不了或者是很難做好的事情。

　　像圖象識別、語音識別這類認知性的任務，AI之所以做得好，是因為這些任務是靜態的，所謂靜態就是給定輸入，預測結果不會隨著時間改變。

　　但是決策性問題，往往和環境有很復雜的交互，在某些場景里面，如何做最優決策，這些最優決策往往是動態的，會隨著時間改變。

　　現在有人嘗試把AI用到金融市場，例如如何用AI技術來分析股票，預測股票漲跌，對股票交易給出建議，甚至是代替人來進行股票交易，這類問題就是動態決策性問題。

　　決策性問題的第二個難點在于各種因素相互影響，牽一發而動全身。

　　一支股票的漲跌會對其他股票產生影響，一個人的投資決策，特別是大的機構的投資決策，可能會對整個市場產生影響，這就和靜態的認知性任務不一樣的。

　　在靜態認知性任務我們的預測結果不會對問題（例如其他的圖像或者語音）產生任何影響。

　　但是在股票市場，任何一個決定，特別是大的機構的投資策略會對整個市場產生影響，對別的投資者產生影響，對將來會產生影響。

　　當前深度學習已經在靜態任務里面取得了很大的成功，如何把這種成功延續和擴展到這種復雜的動態決策問題中，也是當前一個深度學習的挑戰之一。

　　章杉認為，一個可能的思路是博弈機器學習。

　　在博弈機器學習里，通過觀察環境和其他個體的行為，對每個個體構建不同的個性化行為模型，AI就可以三思而后行。

　　選擇一個最優策略，該策略會自適應環境的變化和其他個體的行為的改變。

　　……

　　章杉在這篇論文繼提出了一種幾乎是完全反深度學習思路的機器學習——淺度學習。

　　強調增強博弈機器學習的重要性，強調AI的邏輯性和思辨性，大幅度降低“機器學習”任務量。

　　毫無疑問，這是一種全新的機器學習方式！

　　最起碼，這種全新的模型在處理動態信息上取得的成績將是革命性的。

　　淺度學習名字聽起來有點怪異！

　　之所以不叫聽起來更直白明了的淺層學習。

　　是因為事實上淺層學習曾經出現在歷史的舞臺上！

　　由于人工神經網絡的反向傳播算法（也叫Back　　Propagation算法或者BP算法）的發明，給機器學習帶來了希望，掀起了“基于統計模型“的機器學習熱潮。這個熱潮一直持續到今天。人們發現，利用BP算法可以讓一個人工神經網絡模型從大量訓練樣本中學習出統計規律，從而對未知事件做預測。這種基于統計的機器學習方法比起過去基于人工規則的系統，在很多方面顯示出優越性。這個時候的人工神經網絡，雖然也被稱作多層感知機（Multi-layer　　Perceptron），但實際上是一種只含有一層隱層節點的淺層模型。

　　到了90年代，各種各樣的淺層機器學習模型相繼被提出，例如支撐向量機（ort　　Vector　　ting、最大熵方法（如stic　　Regression）等。這些模型的結構基本上可以看成帶有一層隱層節點（如ting），或沒有隱層節點（如LR）。這些模型無論是在理論分析還是應用中都獲得了巨大的成功。相比之下，由于理論分析的難度大，訓練方法又需要很多經驗和技巧，這個時期淺層人工神經網絡反而相對沉寂。

　　不過叫淺度學習似乎也不太妥當，之前的淺度學習通常指的是淺度監督式學習~

　　淺度的監督式的具有　　1　　個隱藏層的神經網絡具有一些受人喜愛的性質，使得它們比深度網絡更容易被解釋、分析和優化；但它們的表征能力卻不及深度網絡。

　　一般使用了具有　　1　　個隱藏層的學習問題來序列式地逐層構建深度網絡，其能夠繼承淺度網絡的屬性。

　　章杉在論文中也提及了這些~

　　淺度監督學習通過反向傳播算法在大規模有監督數據上訓練的深度卷積神經網絡已經成為了大多數計算機視覺任務中的主導方法。

　　這也推動了深度學習在其它領域的成功應用，比如語音識別、自然語言處理和強化學習。但是，我們仍然還難以理解深度網絡的行為以及它們表現出色的原因。這種困難的一大原因是網絡的層中采用了端到端的學習方式。

　　監督式的端到端學習是神經網絡優化的標準方法。

　　但是其也存在一些值得考慮的潛在問題。

　　首先，使用全局目標就意味著一個深度網絡的單個中間層的最終函數行為只能以間接的方式確定：這些層是如何協同工作以得到高準確度的預測結果的，這一點卻完全不明晰。

　　有一些研究者認為并且通過實驗表明　　CNN　　能夠學習實現這樣的機制：將不變性逐漸誘導成復雜但不相關的可變性，同時增加數據的線性可分性。

　　通過求解淺度監督學習問題而實現的　　CNN　　層的序列學習是一種可替代端到端反向傳播的方法。

　　這一策略可以直接指定每一層的目標，例如通過激勵對表征的特定屬性的精細化，比如漸進的線性可分性。然后，就可以根據對淺度子問題的理論理解來開發用于深度貪婪式方法的理論工具。

　　但傳統的淺度監督學習各種各樣的缺點還是較為明顯。

　　：。：


　　(https://www.dzxsw.cc/book/170215/8864822.html)


1秒記住大眾小說網：www.dzxsw.cc。手機版閱讀網址：m.dzxsw.cc