2月12日，谷歌大腦Jakob Uszkoreit到訪中國科學院自動化研究所，并作題為Learning Representations With (Self-)Attention的主題學術(shù)報告。

　　Jakob Uszkoreit圍繞自注意力機制在表征學習中的應用這一主題，簡單敘述了在序列學習中循環(huán)神經(jīng)網(wǎng)絡(luò)并行計算、長距離依賴等缺陷，針對這些缺陷，基于自注意力機制的序列學習應運而生。Jakob Uszkoreit對自注意力機制也進行詳細的介紹，并與循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的訓練復雜度進行了對比，展現(xiàn)了自注意力機制的優(yōu)越性。報告對Google Brain團隊開發(fā)的學習框架Transformer向聽眾進行了詳盡的解釋，并將模型訓練的細節(jié)進行了細致入微的解讀。該模型在機器翻譯任務上取得了當前最好的效果，在英德翻譯任務上高出了之前最好的集成模型2個點以上。Jakob表示，基于自注意力機制的Transformer框架還可以應用到文本生成，圖片生成等一些任務中，Google Brain團隊對于這些任務也進行了相關(guān)的對比實驗，取得了相當好的效果。最后，報告對下一步的工作進行歸納，主要包括并行解碼和不同分辨率的解析問題。

　　報告加深了大家對自注意力機制概念的理解，對于后續(xù)在表征學習中繼續(xù)開展研究工作提供借鑒和啟發(fā)。此后，大家就知識融合技術(shù)，詞向量選擇以及Google Brain團隊的溝通協(xié)作問題與Jakob Uszkoreit進行了充分的交流。