有什麼區別？bert輸出的句向量是什麼樣的？
output_layer = model.get_sequence_output()# 這個獲取每個token的output 輸出[batch_size, seq_length, embedding_size] 。如果做seq2seq 或者ner 用這個
output_layer = model.get_pooled_output() # 這個獲取句子的output：輸出[batch_size, embedding_size] ，為 [cls] 對應的那個hidden vector
輸出長度？
bert輸入句子長度不固定，但輸入bert前做資料處理會把他們的長度統一，短句子在後面補零，所以bert輸出長度固定，最大為512個詞.
bert得到向量
from bert demo import modeling from bert demo import tokenization import numpy as np import tensorflow as tf class bert vec def init self graph self.i...
bert生成句子向量
2.如何使用bert的詞向量 3.直接使用bert原始碼生成詞向量 bert本質上是乙個兩段式的nlp模型。第乙個階段叫做 pre training，跟wordembedding類似，利用現有無標記的語料訓練乙個語言模型。第二個階段叫做 fine tuning，利用預訓練好的語言模型，完成具體的nl...
基於bert句向量的簡單文字分類
1.獲取bert的sst2句向量，通過keras構建乙個簡單的基於句向量的文字分類演算法，得益於bert的強大效能，在sst2文字分類的準確率高達81.80，實驗結果比cran，cam，da，textcnn模型都好，訓練速度特別快，收斂也特別快 通過keras實現的簡單句向量分類演算法 from k...