細粒度情感 讀書摘要

2022-09-21 05:45:08 字數 1146 閱讀 7067

這篇文章的一些筆記摘要

《細粒度情感分析在到餐場景中的應用》

大規模預訓練模型(bert)、提示學習(prompt)等 nlp 技術飛速發展。

按照情感極性判定粒度,可以細分為篇章 / 整句粒度情感分析、細粒度情感分析 (absa, aspect-based sentiment analysis)[1]。

細粒度情感分析的 任務目標主要圍繞屬性(aspect term)、觀點(opinion term)、情感(sentiment polarity)三要素展開,可以拆分為屬性抽取、觀點抽取以及屬性 - 觀點對的情感傾 向判定三個級聯任務 [2-5]。

在實驗過程中,我們發現 bert+crf 相比簡單的 bert+softmax 效果提公升甚微,究其原因,由於預訓練模型經過微調之後可以學 習到具有明顯區分度的特徵,導致增加 crf 層對實體識別結果幾乎沒有影響。

進一步實驗後發現,通過調整 bert 和 crf 層 的學習率,如 bert 使用較小的學習率而 crf 層使用 100 倍於 bert 的學習率

(即 e2/e1>100), 最 終 bert+crf 的 效 果 相 比 bert+softmax 有了較明顯的提公升。

借鑑 mrc(machine reading comprehension)任務的思 想,通過構建合理的 query 引入先驗知識,輔助觀點抽取。

考慮到 google 中文預訓練模型 bert 是以字粒 度為切分,沒有考慮到傳統 nlp 中的中文分詞,

在預訓練層我們將 bert 模型替換 為哈工大開源的中文預訓練模型,如 bert-wwm-ext、roberta-wwm 等,最 終模型效果取得進一步提公升。

目前在學術界,三元組(屬性,觀點,情感)聯合抽取的方法主要包括序列標註方法 [11]、 qa 方法 [5,12]、生成式方法 [13,14] 等。

我們採取了 qa 式的聯合抽取方法,主要參考模型 dual-mrc。

在到餐業務場景中,主 要面臨少樣本問題,參考業界 nlp 少樣本解決方法,以基於對比學習的 r-drop[23] 方法和基於 prompt[24] 的第四正規化為代表。我們在 bert 模型結構基礎上,分別實 驗了 prompt 模板方法(如圖 9 所示)和 r-drop 資料增強(如圖 10 所示)。其中, prompt 模板主要借鑑 p-tuning[25] 的思想,採取自動化構建模板的方式,基於 mlm 任務解決問題。

細粒度審計

細粒度審計 fga 通過 oracle9i 引入 可以理解為 基於策略的審計 與標準的審計功能相反,fga 可用於指定生成審計記錄必需的條件 fga 策略通過使用 dbms fga 程式包以程式設計方式繫結到物件 表 檢視 類似於用於通過 vpd dbms rls 進行訪問控制的程式包,它允許您建立...

redis 細粒度鎖

上一節我描述了粗粒度鎖,並且描述了它的缺點。這一節我將使用細粒度鎖來處理上一節中粗粒度鎖所帶來的問題。我們可以為集合中的每個資源提供乙個鎖,這樣可以避免每次的操作都會鎖住所有的資源,其次我們為每乙個鎖設定乙個超時時間,避免死鎖情況的出現。下面看一下 鎖定資料 param key param fiel...

細粒度許可權管理

表1 許可權對映表 表名 tbl res map 許可權對映 類別 表 欄位名 字段別名 資料型別 主鍵 允許空 顯示 預設值 說明 pid 許可權編碼 varchar 50 y n n service view 資源 varchar 50 y n n explain 說明 varchar 50 y...