美國(guó)佐治亞理工學(xué)院機(jī)器學(xué)習(xí)中心副主任宋樂訪問自動(dòng)化所
1月16日,佐治亞理工學(xué)院機(jī)器學(xué)習(xí)中心副主任宋樂到訪中國(guó)科學(xué)院自動(dòng)化研究所,并作了題為Enhancing Deep Learning with Structures的精彩學(xué)術(shù)報(bào)告。
深度學(xué)習(xí)作為近年來最炙手可熱的研究方向吸引了來自學(xué)術(shù)界、工業(yè)界、資本市場(chǎng)乃至政府的廣泛關(guān)注,但在表面的成功和繁榮之下,深度學(xué)習(xí)仍然有很多關(guān)鍵問題亟待解決,例如:深度學(xué)習(xí)對(duì)大數(shù)據(jù)和大運(yùn)算量的過分依賴,模型的不可解釋性等等。
報(bào)告向大家展示了利用問題的內(nèi)在結(jié)構(gòu)對(duì)提高機(jī)器學(xué)習(xí)方法性能、降低樣本復(fù)雜度和計(jì)算復(fù)雜度的重要意義。宋樂通過大量理論和實(shí)驗(yàn)展示了CNN通過卷積結(jié)構(gòu)成功利用了圖像問題中的平移不變性,用(相比全連接層而言)少量的參數(shù)取得了非常高的識(shí)別精度。接著他展示了佐治亞理工學(xué)院的最新工作Deep Hyperspherical Learning,即通過改進(jìn)卷積操作達(dá)到更快的收斂速度和更高分類精度。在他的另一個(gè)工作struct2vec中,宋樂介紹了如何讓深度神經(jīng)網(wǎng)絡(luò)利用圖的結(jié)構(gòu)信息,從而將神經(jīng)網(wǎng)絡(luò)應(yīng)用到社交網(wǎng)絡(luò)、生物醫(yī)學(xué)、推薦系統(tǒng)等應(yīng)用問題中。
宋樂是佐治亞理工學(xué)院計(jì)算科學(xué)與工程系終身副教授,機(jī)器學(xué)習(xí)中心副主任。