模型 深度學習 BERT

**：《pre-training of deep bidirectional transformers for language understanding》

官方**和預訓練模型：

第三方**：

1. pytorch-pretrained-bert谷歌推薦pytorch版本

2. bert-pytorchpytorch版本

3. bert-tensorflow

4. bert-chainer

5. bert-as-service

6. bert_language_understanding

7. sentiment_analysis_fine_grain

8. bert-ner

9. bert-keras

10.tbert

呼叫方法：

1、bert-serving

安裝：需要安裝伺服器和客戶端

pip install bert-serving-server

pip install bert-serving-client

啟動伺服器

命令啟動方式

bert-serving-start -pooling_strategy none -model_dir chinese_l-12_h-768_a-12 -max_seq_len 60

from bert_serving.server.helper import get_args_parser

from bert_serving.server import bertserver
args = get_args_parser(
).parse_args(
['-model_dir'
,'chinese_l-12_h-768_a-12'
,'-pooling_strategy'
,'none'
,'-max_seq_len'
,'60'])
server = bertserver(args)
server.start(
)

from bert_serving.client import bertclient

bc = bertclient(ip=
'localhost'
)test=bc.encode(
['你好'
,'bert'
])

說明-model_dir

預訓練模型的路徑

-num_worker

執行緒數，表示同時可以處理多少個併發請求

-pooling_strategy

預設是句向量；-pooling_strategy none是詞向量

-max_seq_len

句子最大長度

2、bert4keras

蘇劍林大神封裝的keras框架的bert，呼叫比較方便，功能也比較全

安裝

pip install bert4keras

呼叫

from bert4keras.models import build_transformer_model

config_path =
'chinese_l-12_h-768_a-12/bert_config.json'
checkpoint_path =
'chinese_l-12_h-768_a-12/bert_model.ckpt'
bert_model = build_transformer_model(config_path=config_path, checkpoint_path=checkpoint_path)

Bert模型的學習之路

在bert模型的學習中，遇到了以下一些不錯的資料，雖然走了很多彎路，這裡總結一下比較好的學習歷程吧，需要花一點時間閱讀。首先是對nlp中語言模型的乙個發展歷程的乙個介紹 理論模型學習 1 從word embedding到bert模型 自然語言處理中的預訓練技術發展史 與之先關的該作者的另外兩篇文章 ...

瞎聊機器學習 BERT模型

在本文之前我們已經介紹了elmo和gpt的兩個成功的模型，今天給大家介紹google新發布的bert模型。bert來頭可不小，其效能超越許多使用任務特定架構的系統，重新整理了11項nlp任務的當前最優性能記錄。bert模型的全稱是bidirectional encoder representatio...

bert 分類模型

大神的帖子 github 記錄本人訓練情況 1.資料 train.tsv,test.tsv dev.tsv 2.改原始碼 修改run classifier.py檔案中get labels等方法 3.儲存label2id的字典 4.使用命令訓練模型 5.6.後面使用的模型服務端，使用的是.pb格式的模...