bpe（byte-pair encoding）該方法使用bytes（位元組）作為基礎的子詞單元，這樣便把詞彙表的大小控制到了5w。它可以在不需要引入任何未知字元前提下對任意文字進行編碼，這是在gtp2中實現的，roberta也採用了這種編碼方式。
上面這個是bert的編碼方式，下面的是roberta：
可以看到編碼方式是非常不同的。
bert原始版本使用乙個字級（character-level）的bpe詞彙表，大小是3w，是用啟發式分詞規則對輸入進行預處理學習得到的。
Roberta的原理介紹
常用中文預訓練語言模型介面 介面roberta中文預訓練模型 roberta for chinese 1.靜態masking vs 動態masking 原來bert對每乙個序列隨機選擇15 的tokens替換成 mask 為了消除與下游任務的不匹配，還對這15 的tokens進行 1 80 的時間替...
無炫技 純粹的Bert和Roberta
專案連線 專案概述 bert作為當代nlp的基石型模型，熟練掌握是至關重要的。筆者閱讀了很多大牛的 發現很多內容過於繁瑣，考慮的範疇與功能也非常的複雜。本著讓更多小夥伴能通過 直擊bert精髓因此自己一行行純手工敲出這個專案，盡可能做到的是純粹。因為roberta和bert極其相似，因此這裡順便給出...
深度學習baseline模型 深度學習模型訓練流程
工作中訓練了很多的深度學習模型，目前到了上公升到方 的角度來看了。日常工作中有的人可能已經在遵循方 做事，可能自己沒有注意，有的人可能沒有遵循方 在做事，雖然可能最後的結果差不多，但花費的時間和精力應該會差別很大，當然這是我自己的感受。我們不必完全按照方 來做，但基本流程跟方 應該一致。下面的具體步...