**無型別
中文電子病歷的預訓練模型
資料量100g+
醫院的非公開資料
結果比對結果沒有出
預備是與原始bert進行比對
不能跑型別
生物醫學文字挖掘的預訓練語言表示模型
資料集英文生物醫學相關資料集
形式已經成為可以直接呼叫的工具
**aaai 2020
研究者型別
在特定領域的任務(包括金融、法律和醫學)中，k-bert的表現明顯優於bert，這表明k-bert是解決需要專家參與的知識驅動問題的最佳選擇。
資料集醫療、金融等方面的中文資料集（開源）
解決的問題
如何將現有的知識庫和預訓練模型結合是乙個重要的課題，在這方面主要有兩個挑戰
heterogeneous embedding space ：不同的知識庫中的實體和關係的嵌入通過不同的方法獲得，這使得他們的向量空間不一致
knowledge noise：太多的知識嵌入會使得句子偏離原本的含義
**資料集
英文期刊：journal of biomedical informatics
（計算機和醫學交叉學科，醫學資訊學，自然語言處理，機器學習和資料探勘在醫學的應用 等領域的權威期刊。
與計算機期刊相比，審稿速度較快。）
年份：2020
摘要[外鏈轉存失敗,源站可能有防盜煉機制,建議將儲存下來直接上傳(img-w8hnawep-1595592181703)(
用bert模型跑在沒有標註的中文垂直語料上，lstm和crf去抽取文字特徵和解碼**的標籤。建立乙個將字典功能合併到模型中的策略，去提公升模型的效果。
資料集ccks-2018
ccks-2017
創新點our contribution
can be summarized as follows:
(1) a large pre-trained bert language
model on chinese clinical text is derived, which can be used for cner
and other chinese clinical nlp tasks
(2) we compare the performance
by adding different layers (eg. lstm, crf) on the bert model for the
cner task
常用的方法
cner任務通常被認為是乙個序列標註問題，因此隱馬爾可夫模型（hmm）、最大熵馬爾科夫模型（memm）和條件隨機場（crf）等經典機器學習方法被廣泛應用於任務中。
具有crf的雙向lstm（bilstm-crf）更好
文中搜尋效率的影響因素
單詞嵌入：word2vec，glove，elmo，bert。其中bert更優秀。
字典功能：wang基於字典建立n-gram特徵，並將字典特徵與單詞嵌入連線起來作為bilstm的輸入
chen等人利用字典對句子進行分段，並將分段嵌入和字元嵌入輸入到bilstm-crf模型中
其他特徵：詞根特徵、筆畫特徵、拼音特徵，這些都是漢語特有的特徵有助於提高漢語聽力任務。
此模型中包括了根特徵、字典特徵。
作者思路
不同層次的預訓練bert模型的效能：線性層、crf層、bilstm-crf層。選擇了最後的作為基礎模型架構。
將字典特性和基本特性利用到模型中。
作者配置
1080ti gpu
流程1h37min .tfrecord
8h22min pre-train bert
得到乙個 .ckpt
we used the transformation
script to transform the
tensorflow model into the pytorch model ended with .bin
詞典資訊的後處理方法，在術語詞典（如藥物詞典、外科詞典）的基礎上，我們可以通過雙向最大匹配（bdmm）演算法找到文字中對應的實體，即使用bdmm演算法對文字進行分段，並對字典**現的實體進行標籤。通過bdmm演算法對線性層的輸出進行修改，在第i個元素上增加乙個常數，使得令牌可以被標記為dii個標籤。
結果2023年ccks-cner datasets，有4種醫療記錄（電子病歷）包括：一般專案，病史特點（病歷），診療經過（診斷和**），出院情況（出院小結），其中有5個型別的臨床實體識別：身體部位（解剖）症狀和體徵（症狀）、疾病和診斷（疾病）、檢查和檢驗（考試）和**（**）。
訓練集：1198條臨床記錄，測試集：398條臨床記錄。
2023年ccks-cner dataset，訓練集：600，測試集：400.
評價標準：整體精度（p），召回率（r），f1得分
基於bert預訓練模型的比較
基於bert預訓練模型的比較 electra roberta bert wwm albert xlnet 預訓練任務替換詞檢驗 遮掩詞 與bert相同 遮掩詞 sop permutation lm pretraining model生成器 判別器的模式，生成器與判別器的網路結構均為transform...
bert 分類模型
大神的帖子 github 記錄本人訓練情況 1.資料 train.tsv,test.tsv dev.tsv 2.改原始碼 修改run classifier.py檔案中get labels等方法 3.儲存label2id的字典 4.使用命令訓練模型 5.6.後面使用的模型服務端，使用的是.pb格式的模...
bert中的sep 語言模型 BERT
今天我們想到 nlp 就會想到 bert，在 nlp 領域中 bert 到處屠榜。bert 主要應用於自然語言處理中的預訓練。這裡想說一件有趣的事，就是當下比較火的自然語言處理模型如 elmo 和 bert 都是動畫片芝麻街中角色。那麼什麼是 bert 呢?我們先從字面上解釋一下什麼是 bert。我...