找回密碼
 立即注冊

QQ登錄

只需一步,快速開始

機器學習資料整理【內有福利】 加入本站QQ交流群 本站落實實名發帖政策的通知
從20世紀60年代,由MIT的計算機教授組織了第一個面向本科生的Summer Project,經歷了20世紀50年代初到90年代,嘗試用創建?/div>
全球人工智能技術和計算機視覺技術領跑者,肇觀電子(NextVPU),日前正式發布世界?/div>
自語音識別技術進入深度學習時代,語音識別
數據堂自有版權的中國兒童手機采集語音數據產品共計3000小時。發音人均為6~12
TensorFlow官方文檔—中文版 鏈接:https://pan.ba
該教程將通過知識點講解+答疑指導相結合的方式,讓大家循序漸進的了解深度學習模型并通過實操演示掌握相關框架及TensorFlow工?/div>
本帖最后由 周天 于 2018-1-2
最最經典的凸
機器學習算法需要作用于數據,而數據的本質則決定了應
總體而言,這本書從基礎到研究前沿介紹了深度學習的核心概念與理論。我們不僅能了解到全連接、卷積和循環等基本深度神經網絡網絡,同時還
【主講嘉賓】 https://bbs.byr.cn/att/BBSOpenAPI/0/1560/41488 宋 宇 縱目科技無人駕駛事業部首席科學?/div>
1011
換個方式哈哈哈感覺到回個結核桿菌回個就
“N+”大會是面向全球 AR、VR、AI 等互聯網新技術領域的行業領袖及從業者的盛會。 旨在推動全球
  維塔利克˙布特林(Vitalik Buterin)將蒞臨“2018區塊鏈技術于場景落地峰會”做報告 764   布特林,一個誓言用區塊鏈顛覆真實經濟體系的俄羅斯小子,他打造的全新
優達學院面試技能三件套,包括找工作策略、模擬面試、拓展人脈三門課程
編者按:2017年是不平凡的一年(當然,事實上,每一年都是;P)?/div>
查看: 1796|回復: 5
打印 上一主題 下一主題

對話機器學習大神Yoshua Bengio

[復制鏈接]

164

主題

306

帖子

1萬

積分

管理員

積分
15778
跳轉到指定樓層
樓主
發表于 2017-5-30 09:38:41 | 只看該作者 |只看大圖 回帖獎勵 |倒序瀏覽 |閱讀模式
Yoshua Bengio教授(個人主頁)是機器學習大神之一,尤其是在深度學習這個領域。他連同Geoff Hinton老先生以及 Yann LeCun(楊立昆)教授,締造了2006年開始的深度學習復興。他的研究工作主要聚焦在高級機器學習方面,致力于用其解決人工智能問題。他是僅存的幾個仍然全身心投入在學術界的深度學習教授之一,好多其他教授早已投身于工業界,加入了谷歌或Facebook公司。

作為機器學習社區的活躍者,Yoshua Bengio教授在美國東部時間2月27日下午一點到兩點,在著名社區Reddit的機器學習板塊參加了“Ask Me AnyThing”活動,Yoshua回答了機器學習愛好者許多問題,干貨頻頻。故作此整理,供遠在地球另一面的國內人工智能和機器學習愛好者學習討論,所有問答的先后順序由Reddit用戶投票決定。以下為問答第一部分:

問:是什么仍然激勵著您留在學術界?您對于工業界那種面向產品和創新的實驗室有什么看法?他們和學術實驗室相比如何?我們在選擇兩者的時候,學術自由(做想做的事情)是否起到很重要的作用?

答:我喜歡學術界,因為我可以選擇研究我喜歡的課題,我可以選擇設立一個長期的目標來為之努力,我可以為全人類的福祉來奮斗而不是某一個特定公司的利益,而且我可以非常自由的公開討論我的研究成果和進展。當然,值得注意的是,在某種程度上,我那些值得尊重的同事們在很多大公司的實驗室里也同樣有類似的討論自由。

問:您好,我是一個本科生,您和Hinton教授的工作給了我很大的啟發,我有一大堆問題想問,您可以選擇性的回答一下。

Hinton教授最近在Coursera在線教育網站上提供了神經網絡公開課(MOOC)。該課程所提供的資源和課件讓我在內的很多同學受益匪淺。我學到了如何自己訓練一個神經網絡,邁出了深度學習領域的第一步。所以,如果這個領域的另一個神級領軍人物,您,也能提供一個公開課,那將是多么大的幸運,不知道您在這方面有什么打算?


作為領域內的杰出教授,您個人如何看待當代神經網絡忽如一夜又火了這個現象呢?您認為是理所應得還是夸大其詞?還是兩者兼有?或者您有完全不同的看法?還有,您對于當今文獻對于神經網絡研究的描述怎么看?

我對于利用無監督技術來學習數據選擇,以增加算法的普適能力這一塊非常感興趣。我感覺它是監督學習和非監督學習的有機結合,跟傳統的預訓煉不同。您所在的實驗室已經在這方面取得了很多進展,使用“簡單”的數據選擇方法,比如高斯噪聲選擇法,即我們在DAE語境下所謂的輸入dropout。您覺得這個方向算不算有潛力呢?希望您能給推薦一些相關資料,我找了很久都沒找到。

最后,沒有人有水晶球來洞悉未來,但是您能談談您研究工作的下一步展望么?比如,過去幾年基本是監督學習占了上風。

答:首先我目前沒有公開課的計劃,但可能未來會開設一門。最近我在寫一本深度學習方面的新書,內容比較全面(和Ian Goodfellow和Aaron Courville一起寫)。過幾個月可能會放出幾章草稿,非常歡迎社區和同學們提出寶貴建議。注意Hugo Larochelle(我之前的博士生,Hinton教授的博士后)有一個很好的深度學習視頻(在他個人主頁上還可以找到課件)。

我覺得最近大家對于神經網絡的極大熱情,主要是因為機器學習同仁們浪費了多年的時間,1996到2006這20年,幾乎從來沒深入挖掘它。現在這個時候,確實有一些對于神經網絡的夸大其詞,尤其是在媒體上。這是非常不幸的,同時也非常危險,會被一些想要一夜暴富的公司所利用。危險尤其在于,一大波天花亂墜的許諾出來了,結果沒有出色的實驗結果作為根據。科學在大部分時候都是小步前進的,我們必須要謙遜。

我沒有水晶球,但是我相信改進我們對于聯合分布的建模,在未來深度學習的研究中,尤其是朝向人工智能級別的機器方面,非常重要,它能幫助機器更好的理解我們周圍的世界。

另外一個比較容易預見的工作,是我們需要在訓練高復雜度模型的過程中,找到快速有效的訓練方法。不光是在訓練模型本身(涉及到數值優化問題),而且在計算能力方面(比如通過并行或者其他的技巧來避免每個樣本在訓練的時候都牽扯到整個神經網絡的更新)。你可以在arxiv上找到我的展望文章

問:傳統的(不管是不是深度)神經網絡看起來在保留上下文信息方面有一些局限性。每個數據點/樣本都是獨立對待的。遞歸神經網絡(Recurrent Neural Network,RNN)克服了這個問題,但是RNN訓練起來非常難,而且一些RNN變種的嘗試看起來也不是那么的成功。

您覺得RNN在未來會流行起來么?如果是的話,在什么應用領域?以什么樣的模型設計?非常感謝您百忙之中的回答!

答:回歸網絡或者叫做遞歸網絡,在各種類型的對象的相互依賴關系的建模上,非常有用。我們小組在如何訓練RNN上做了一些工作,這也是當前深度學習社區研究工作的重要組成部分。可能的應用領域有:語音識別(尤其是語言識別部分),機器翻譯,情感分析,語音合成,手寫合成與識別等等。

問:我很想聽聽您對liquid state machine(LSM)和深度學習之間的對比。

答:liquid state machine和echo state networks(ESN)沒有學習RNN里面類似的權重,換句話來說,它們不學習數據的表征。然而,深度學習最重要的目的,就是學習一個好的數據表征。從某種程度來講,LSM之類的跟SVM很像,即給定一堆確定的特征,學習一個線性分類器。這里用到的特征是跟前面序列有關的函數,通過一些巧妙手段預先設置好權重。這些特征非常好,那么,能自動學習這些特征不是更好么!

網友附加答案:我覺得ESN和LSM非常好,學習它們能讓我們更清楚RNN,了解RNN模型上什么情況下會給出很差結果,學好前兩者對于學習DNN有好處。推薦看看Ilya在初始化方面的工作,文章闡述了采用Herbert Jaeger建議的ESN初始化方法的有效性,這對RNN同樣奏效。另外LSM和ESN通常可以作為DNN很好的基準參考對比。還可以看看這個頁面,很多RNN有用信息,尤其是LSTMNN,它是RNN變種之一,繼絕RNN訓練過程中梯度消失的問題,從而讓RNN能夠感知到更長的上下文。

問:Bengio教授您好,我是McGill大學的本科生,從事類型論(譯者注:與集合論差不多的學科)方面的研究,我的問題是:

我所在的領域很注重形式化證明,機器學習領域有沒有關注形式化證明的課題呢?如果沒有的話,怎么保證學科的嚴謹性?有沒有人研究用深度學習產生程序呢?我的直覺是最重我們可以用類型論來指定一個程序,并且用深度學習來搜索這個指定程序的實例,但現在我覺得可能還有很多困難。

您能給舉幾個例子,關于機器學習中獨特的數據結構的么?作為零起點的同學,我怎么才能開始深度學習呢?我不知道應該看一些什么資料,要是我能搞出點名堂,我非常愿意應聘您團隊的研究職位。

答:有一種非常簡單的方法,讓我們無需證明,就能夠得到學科的嚴謹性,大家都經常用到:叫做科學方法論,它依賴實驗、假設和驗證。另外,深度學習的論文里逐漸出現越來越多的數學。有一段時間,我曾對深度學習和淺層學習的特性對比很感興趣(參見我和Delalleau或者更近的Pascanu一起合作的文章)。我還跟Nicolas Le Roux一起在RBM和DBN的近似特性上做了一點工作,我還建議你去看看Montufar的文章,很炫的數學。

至于零基礎問題,有很多資料值得參考,比如deeplearning.net網站上的:

  • 我2009年的論文和書(新版本正在寫)
  • Hugo Larochelle的神經網絡課程還有視頻
  • 深度網絡訓練相關推薦
  • 最近的一篇回顧性文章

網友附加討論:我從事概率編程語言方面的研究,您覺得有沒有深度學習編程語言呢?讓新手更容易創造自己的深度學習模型。

網友附加回答:我是Yoshua的博士生,我們實驗室現在開發了一個Python庫,叫做Pylearn2,它可以讓小白相對容易地使用深度學習,可能你還是需要很了解自己的算法本身,但是至少你不需要從頭開始自己實現它了。當然這不是通常意義的編程語言,你可以看看Theano,它對于深度學習架構的描述和訓練都非常到位。概率編程語言的話可以看看這個。另外機器學習理論方面的研究可以看看這個會議。還有,訓練神經網絡有很多的技巧,光看別人的論文是學習不到的,這些技巧有的非常的取巧,有的非常偏頗,不會被寫在論文里的。最好的方法就是跟創造和研究它的人共事,多問問題,多嘗試,參考這個視頻教程。

再推薦幾個框架:

問:Bengio教授,在您的論文“Big Neural Networks Waste Capacity”中,您指出梯度下降法在神經元很多的時候沒有少量神經元情況下好,我的問題是:增加的這些神經元和鏈接如何導致結果變壞的?您覺得類似(Martens 2010)提出的Hessian Free方法能否克服這個問題?(“Deep learning via Hessian-free optimization.” Proceedings of the 27th International Conference on Machine Learning (ICML-10). 2010)

答:增加的神經元和鏈接,其實引入了更多的曲率,即非對角海森矩陣。梯度下降法,作為一個一階方法,會忽略這些曲率(它假設海森矩陣是單位矩陣)。所以神經元多了以后,梯度下降法就會在最小值附近跳來跳去,但總是不能有效的找到最小值。當然二階方法也不是總有效果的。(譯者注:可參考這篇文章

問:我來自蒙特利爾,一個創業公司,我對您的工作非常感興趣,一個問題,貌似機器學習專家以及學術界對那些工業界的競賽,比如Kaggle,不是很感興趣啊。我知道獲勝的概率確實比較低,讓投入的時間和產出不成比例。而且很多機器學習愛好者都對此趨之若鶩,沒有專家的參與感覺很受傷。一個機器學習領域的專家,難道不是幾個小時就可以做出來一個比較不錯的結果么?有沒有這么一個場景,開放,協同,專家和愛好者一起工作的?

答:這有幾個專家贏得Kaggle和Netflix的例子:12

機器學習專家不參與這種競賽的原因,可能是他們那些好的解決辦法,總是會有企業買單,不必參加類似的比賽來競爭。還有,專家從來都是樂于挑戰極限的,而不是來面對日常生產環境里面那些非常令人煩躁的真實數據。參加這種競賽,很大部分的時間都用來對數據進行預處理,而且,淺層模型如SVM、隨機森林和boost方法很容易就能得出一個可接受的結果,這種做法沒有什么學術價值。除了獎金方面,Kaggle這種競賽的設置也是有問題的,可以參考這個非常有啟發性的視頻,大部分有能力可以獨立思考的人都不會參與Kaggle。長話短說,競賽只有能夠彰顯它在某個研究課題上的意義,才能吸引專家的參與。

問:我聽說深度學習模型在訓練過程中,很多地方都需要專家經驗,手動調節,各種技巧,不知道有沒有比較自動化的超參數學習方法呢?

答:超參數優化已經在深度學習領域中初見端倪,主要用在自動搜索模型的參數。所謂超參數,就是機器學習模型里面的框架參數,比如聚類方法里面類的個數,或者話題模型里面話題的個數等等,都稱為超參數。它們跟訓練過程中學習的參數(權重)是不一樣的,通常是手工設定,不斷試錯調整,或者對一系列窮舉出來的參數組合一通枚舉(叫做網格搜索)。深度學習和神經網絡模型,有很多這樣的參數需要學習,這就是為什么過去這么多年從業者棄之不顧的原因。以前給人的印象,深度學習就是“黑魔法”。時至今日,非參數學習研究正在幫助深度學習更加自動的優化模型參數選擇,當然有經驗的專家仍然是必須的。

超參數的學習早已有之,但是直到最近才做出一點進展。這里面比較早期的主要貢獻者(在應用到機器學習非參數學習領域之前)是Frank Hutter團隊,他在2009年的博士論文就是關于軟件系統里面如何用非參數學習來代替人手設定參數。我之前的博士生James Bergstra和我一起在這個問題上也研究過幾年,我們提出了網格搜索的一種簡單的取代方法,稱作隨機采樣(random sampling),實驗結果非常好,也很容易實現。

隨后我們就將Hutter在其他領域使用過的非參數學習方法引入了深度學習,稱作序列優化(sequential optimization),發表在NIPS 2011,我的另外一個聯合培養博士生 Remi Bardenet和他的導師Balazs Kegl(前同事,現在法國)也參與了這個工作。

這個工作被多倫多大學的研究人員看好并繼續深入,其中有Jasper Snoek(Hinton教授的學生),Hugo Larochelle(我畢業的博士生)以及Ryan Adams(哈佛大學教授),他們的工作發表在NIPS2012。文中展示了他們利用自動化的方法,改進了Krizhevsky,Sutskever和Hinton教授非常著名的ImageNet物體識別神經網絡算法,刷新了這個數據集的學術記錄。

Snoek等人開發了一個軟件,被相關學者廣泛使用,叫做spearmint,我最近發現Netflix在他們用深度學習做電影推薦的新項目中也用到了它。

網友補充答案:補充一點貝葉斯優化以及Hyperopt的相關內容,貝葉斯優化和專家參與相結合絕對是自動學習參數的好辦法,參見這個ICML調試卷積神經網絡的內容。Hyperopt有個Python庫,提供ConvNets,NNets以及未來會涉及到機器學習庫scikit-learn中一批分類器的自動化參數學習方法。




回復 論壇版權

使用道具 舉報

0

主題

8

帖子

33

積分

普通會員

積分
33
沙發
發表于 2017-10-25 02:21:15 | 只看該作者
u4g3
回復

使用道具 舉報

3

主題

7

帖子

10萬

積分

版主

積分
109234
板凳
發表于 2017-11-16 19:10:03 | 只看該作者
666

095915vt4v4if8fepa4fft.gif (26.85 KB, 下載次數: 6)

095915vt4v4if8fepa4fft.gif
回復

使用道具 舉報

0

主題

25

帖子

272

積分

初級會員

積分
272
地板
發表于 2018-9-24 09:57:37 | 只看該作者
Yoshua回答了機器學習愛好者許多問題~~
回復 支持 反對

使用道具 舉報

0

主題

181

帖子

-107

積分

限制會員

積分
-107
5#
發表于 2018-10-19 15:03:16 | 只看該作者
感謝感謝
回復

使用道具 舉報

您需要登錄后才可以回帖 登錄 | 立即注冊

本版積分規則

宸ュ晢钀ヤ笟鎵х収鐢靛瓙璁稿彲璇? />
                             </a>
                             <span class=| QQ|申請友鏈|小黑屋|手机版|人工智能A7論壇(aqinet.cn) ( 滬ICP備15039134號-1 ) 人工智能A7論壇壇友會

GMT+8, 2019-7-7 14:08 , Processed in 0.067760 second(s), 49 queries .

Powered by Discuz! X3.4 Licensed

© 2001-2013 Comsenz Inc.

快速回復 返回頂部 返回列表
四圣兽救援彩金