清華劉知遠 ACL趨勢綜述

2021-09-29 22:58:01 字數 906 閱讀 3477

ais (acl, ijcai, sigir) 2019 **報告會

熱門(與2018一致):information extraction, machine learning, machine translation

激增:linguistic theories, cognitive, modeling and psycholinguistics

2023年:從word2vector 開始(未考慮一詞多義,無法上下文理解)

複雜模型出現(rnn lstm cnn gru transformer)不重視pretrain

之後:預訓練模型:

elmo(雙向lstm)

openai gpt(單向transformer)

bert(雙向transformer)

1.多工、多語言、複雜知識 

2.低資源(缺乏標註資料)任務:

解決思路:無監督方法、引入領域知識、半監督、transfer learning、

近幾年火的:few-shot learning、meta learning、adversarial training、muti-task learning 

低資源工作:

從非平行語料中學習詞對譯、翻譯資訊,利用對抗訓練使不同語言表示空間接近。

機器翻譯領域:transfer learning、meta learning

引入領域知識:eg義原知識

3.可解釋性

結合常識、知識:工具:memory network 、graph nn 圖譜與文字結合進行推理

典型問題:對抗樣本攻擊、模型退化(資料簡單時 過擬合)

noic reasoning cell

4.新的任務和資料集

eg. 常識問答、多語言問答和推理、文件級別的關係抽取

利用更多的知識、實現更深的理解

許知遠 嗨!Julia

引言 當今社會雜語喧嘩,而且在很長一段時間裡都將如此。當今世界的中心議題乃是如何把多聲部鑄造成和諧的 而防止它散漫為嘈雜之聲。齊格蒙特 鮑曼一四 julia每天都將自己在達沃斯的 還有短片,傳到她的部落格上。她在滑雪,他 和傑夫 扎維斯在著名的高空酒吧,看得出她神采飛揚,這是網際網路革命的新佐證,正...

劉博士的知見心理學

週六參加普元董事長劉亞東的乙個心理學課程,有所感受。其根由是劉博士參加了乙個心靈海的知見心理學 http www.soi.com.cn 的課程,很受收穫,於是想和更多的人一起分享,於是有了這個課程。在網上了解了一下心靈海和知見心理學,可以將他們歸為成功學的範疇。因為從前一直對這方面的內容比較關注,所...

知其所以然 劉未鵬

這是乙個樹狀的知識結構,越往上層走,需要記憶的節點就越少。所謂觸類旁通者,其實便是因為他擅長去理解解法背後的更具一般性的東西。所以我還有乙個習慣,就是看到美妙的證明和解法總是會去一遍又一遍的去反覆揣摩,試圖理解想出這個證明的人到底是怎麼想出來的,有沒有什麼一般性的方法可循,很多時候,在這樣揣摩的過程...