8.用於語義角色標註的語言學資訊自我注意力方法
**摘要
當前最先進的語義角色標記（srl）使用深度神經網路，但沒有明確的語言特徵。之前的工作表明，抽象語法樹可以顯著改善srl，從而提高模型準確性。在這項研究中，我們提出了語言學的自我關注（lisa）：該神經網路模型將 multi-head self-attention 與多工學習相結合，包括依賴解析、詞性標註、謂詞檢測和語義角色標記。與先前需要大量預處理來準備語言特徵的模型不同，lisa 可以僅使用原始的 token 對序列進行一次編碼，來同時執行多個**任務。此外，如果已經有高質量的語法分析，則可以在測試時加入，而無需重新訓練我們的srl模型。在conll-2005 srl的實驗中，lisa使用**謂詞和標準字嵌入幫助模型實現了最新的最先進效能。lisa還通過上下文編碼（elmo）詞表示超出了最新技術水平。
總結
來自umass amherst資訊與電腦科學學院和google ai語言的研究人員介紹了基於語言學的自我注意（lisa），這是一種結合了深度學習和語言形式主義的神經網路模型，因此它能夠更有效地利用句法解析來獲得語義。實驗表明，lisa不僅在新聞領域應用表現優秀，它還在分析寫作風格方面取得了最先進的表現，而且還可以很好地概括在不同領域的寫作風格，如新聞和**寫作。
**的核心思想是什麼？
·基於transformer編碼器的語言學自我關注（lisa）模型。 ·
網路的輸入可以是一系列標準的預訓練glove字嵌入，但是通過預先訓練的elmo表示與任務特定的學習引數相結合，可以實現更好的效能。 ·
為了將語言知識傳遞到後面的層次，研究人員建議訓練自我關注機制以處理與句子的句法結構相對應的特定標記。此外，可以在測試時執行輔助解析資訊的注入，而無需重新訓練模型。 ·
遵循多工學習方法，共享語義角色標記（srl）模型中較低層的引數以**詞性和謂詞。
取得了什麼關鍵成就？
·開發一種將語法整合到神經網路模型中的新技術。 ·
在語義角色標記中實現最新的最先進效能： 1
、使用glove嵌入：在新聞領域上獲得+2.5 f1積分，在域外文字上獲得+ 3.5f1分數; 2
、使用elmo嵌入：在新聞上獲得+1.0 f1點，在域外文字上獲得+2.0f1分數。
ai社群對其評價是什麼？
1.該**被emnlp 2018評為最佳長篇**獎，emnlp 2018是自然語言處理領域的領先會議。
未來的研究領域是什麼？
·提高模型的解析精度。 ·
開發更好的訓練技巧。 ·
適應更多工。
什麼是可能的商業應用？
1、語義角色標記對許多下游nlp任務很重要，包括： §
資訊提取; §
問題回答; §
自動摘要; §
機器翻譯。
你在**可以得到實現**？
1.本研究**的實施可從這裡獲得。
9.一種用於學習語義任務嵌入的分層多工方法
**摘要
我們已經投入了大量精力來評估是否可以利用多工學習在各種自然語言處理的應用中使用豐富表示。然而，我們真正缺乏的是對多工學習具有顯著影響的設定的理解。在這篇**中，我們介紹了在乙個精心挑選在多工學習設定中訓練的分層模型。該模型以分層方式進行訓練，通過監督模型底層的一組低階任務和模型頂層的更複雜任務來歸納偏差。該模型在許多任務上實現了最優秀的結果，例如命名實體識別。分層訓練監督在模型的較低層引入一組共享語義表示，我們已經證實，當我們從模型的底層移動到頂層時，層的隱藏狀態往往代表更複雜的語義資訊。
總結
研究人員為一組相互關聯的nlp任務引入了一種多工學習方法：命名實體識別，實體指代識別，共指消解和關係提取。他們證實，以分層方式訓練的單一模型可以解決上述的四項任務。此外，與單任務模型相比，多工學習框架顯著加快了訓練過程。
本文的核心思想是什麼？
·多工學習方法可以有效地用於一組相互依賴的nlp任務。 ·
四個基本語義nlp任務：命名實體識別，實體指代識別，共指消解和關係提取相互受益，因此可以組合在單個模型中。 ·
該模型假定所選語義任務之間存在層次結構：某些任務更簡單，需要對輸入進行較少的修改，因此可以在神經網路的較低層進行監督學習，而其他任務則更加困難，需要更複雜的處理輸入，因此，應該在神經網路的更高層監督學習。
什麼是關鍵成就？
·分層多工學習模型（hmtl）在4個任務中的挑戰了其中三個最先進的結果，即命名實體識別，關係提取和實體指代檢測任務。 ·
與單任務模型相比，多工學習框架大大加快了訓練速度。
ai社群對其的看法是什麼？
1.該**將在2023年1月的aaai會議上發表。
未來的研究領域方向是什麼？
·將多工學習模型與預訓練的bert編碼器相結合。 ·
搜尋多工學習的其他設定。
什麼是可能的商業應用？
1、企業可以利用這種多工學習方法的優勢，即高效能和高訓練速度，來增強：
â§â
聊天機械人和語音助理的表現;
â§â
在檔案中查詢相關資訊;
â§â
你在**可以得到實現**？
1.你可以在github上的獲得這篇研究**的**。
**摘要
提取閱讀理解系統通常可以在上下文文件中找到問題的正確答案，但是它們也傾向於對在上下文中沒有陳述正確答案的問題做出不可靠的猜測。現有資料集太專注於可回答的問題，為了解決這些弱點，我們提供了squad 2.0，這是斯坦福問答資料集（squad）的最新版本。squad 2.0將現有的squad資料與眾包工作者寫的50000多個無法回答的問題結合起來，看起來類似於可回答的問題。為了在squad 2.0上做得好，系統不僅要在可能的情況下回答問題，還要確定段落何時不支援答案並且不回答問題。
總結
史丹福大學的乙個研究小組擴充套件了著名的斯坦福問答資料集（squad），增加了超過5萬個個無法回答的問題。這些問題的答案無法在段落中找到，但問題與可回答的問題非常相似。更重要的是，段落包含對這些問題的合理（但不正確）答案。這使得新的squad 2.0對現有的最先進模型極具挑戰性：在引入無法回答的問題之後，乙個強大的神經系統在之前版本的squad上達到86％的準確率，而現在只有66％。
本文的核心思想是什麼？
·當前的自然語言理解（nlu）系統遠非真正的語言理解，其中乙個根本原因是現有的q＆a資料集關注的是在上下文文件中保證正確答案存在的問題。 ·
要真正具有挑戰性，應該建立無法回答的問題，其中：
â§â
它們與支援段落相關;
â§â
該段包含乙個似是而非的答案，其中包含與問題要求相同型別的資訊，但不正確。
什麼是關鍵成就？
·通過53777個新的無法回答的問題擴充套件squad，從而構建具有挑戰性的大規模資料集，迫使nlu系統學習何時無法根據上下文回答問題。 ·
通過顯示現有模型66％的準確性，為nlu系統創造新的挑戰。 ·
顯示合理的答案確實可以作為nlu系統的有效干擾者。
ai社群對其的看法是什麼？
·該**被2023年計算語言學協會（acl）公布為最佳短篇**。 ·
新的資料集增加了nlu領域的複雜性，實際上可以為該研究領域帶來巨大的績效訓練。
未來的研究領域是什麼？
1.開發「知道他們不知道的東西」的新模型，從而更好地理解自然語言。
可能的商業應用是什麼？
1.在這個新資料集上訓練閱讀理解模型應該可以提高他們在現實情況下的表現，而這些情景往往無法直接獲得答案。
你在**可以得到實現**？
1.該官方標準隊內**有訓練資料集和比較表現最出色的訓練排行榜。
本文由阿里云云棲社群
組織翻譯。
文章原標題《
mariya yao
譯者：虎說八道
，審校：袁虎。
文章為簡譯，更為詳細的內容，請檢視原文
可應用於實際的14個NLP突破性研究成果（二）
摘要 最好的 是可以直接走出實驗室！nlp年度最佳應用 大集錦！可應用於實際的14個nlp突破性研究成果 一 4.what you can cram into a single vector probing sentence embeddings for linguistic properties ...
可應用於實際的14個NLP突破性研究成果（三）
8.用於語義角色標註的語言學資訊自我注意力方法 摘要 當前最先進的語義角色標記 srl 使用深度神經網路，但沒有明確的語言特徵。之前的工作表明，抽象語法樹可以顯著改善srl，從而提高模型準確性。在這項研究中，我們提出了語言學的自我關注 lisa 該神經網路模型將 multi head self at...
php可應用於麵包屑導航的遞迴尋找家譜樹實現方法
area array ar程式設計客棧ray id 1,area 北京 pid 0 array id 2,area 廣西 pid 0 array id 3,area 廣東 pid 0 array id 4,area 福建 pid 0 array id 11,area 朝陽區 pid 1 array ...