bert是2023年google 提出來的預訓練的語言模型，並且它打破很多nlp領域的任務記錄，其提出在nlp的領域具有重要意義。預訓練的(pre-train)的語言模型通過無監督的學習掌握了很多自然語言的一些語法或者語義知識，之後在做下游的nlp任務時就會顯得比較容易。bert在做下游的有監督nlp任務時就像乙個做了充足預習的學生去上課，那效果肯定事半功倍。之前的word2vec，glove等word embedding技術也是通過無監督的訓練讓模型預先掌握了一些基礎的語言知識，但是word embeding技術無論從預訓練的模型複雜度(可以理解成學習的能力)，以及無監督學習的任務難度都無法和bert相比。
模型部分
首先bert模型採用的是12層或者24層的雙向的transformer的encoder作為特徵提取器，如下圖所示。要知道在nlp領域，特徵提取能力方面的排序大致是transformer>rnn>cnn。對transformer不了解的同學可以看看筆者之前的這篇文章，而且一用就是12層，將nlp真正的往深度的方向推進了一大步。
五分鐘搭建乙個MarkDown文件解析器
字數 790 本文的旨在講述如何從零開始搭建乙個markdown文件展示工具。整個過程非常簡單，咱稍微花五分鐘就可以搭建乙個定製化的md文件解析器，是不是很酷呀！首先我們曬一張成果圖看看效果吧 marked外掛程式 highlight外掛程式 jquery外掛程式 zui外掛程式 環境準備完畢，那就...
10分鐘利用django搭建乙個部落格
以前老是聽說ror開發有多快多塊，網上還有朋友為了證明這，專門製作了10分鐘利用rails框架搭建乙個簡易部落格的教程，最近學習django框架，覺得django給開發者的便捷也很多，心血來潮來寫個10分鐘用django搭建簡易部落格的教程。我寫這篇文章的時候使用的python2.7,django1...
乙個睡五分鐘等於六個鐘頭的方法
乙個睡五分鐘等於六個鐘頭的方法 根據醫學和我的體驗 觀察，乙個人真正睡著覺最多只有兩個鐘頭，其餘都是浪費時間，躺在枕頭上做夢，沒有哪個人不做夢。至於醒來覺得自己沒有做夢，那是因為他忘記了。通常乙個人睡兩個鐘頭就夠了，為什麼有人要睡 七 八個鐘頭？那是你賴床躺在枕頭上休息的習慣養成的，並非我們需要那麼...