《tensorflowNLP》傳統自然語言處理方法

2021-09-27 10:47:13 字數 602 閱讀 2316

經典nlp的一般方法

傳統的特徵工程技術:

1)詞袋:根據詞頻建立特徵表示。

缺陷:沒有保留單詞順序,丟失上下文資訊。

2)n-gram:它將文字分解為由n個字母(單詞)組成的較小元素,字母級別表示的優點是在大型語料庫上詞彙量小得多

語言建模任務的經典方法:

傳統方法的缺點:

傳統nlp的預處理步驟迫使我們對潛在有用資訊進行取捨權衡,以便通過減少詞彙量來使學習成為可能。

需要人工手動設計特徵工程。繁瑣且需要領域知識。

需要借助各種外部資源才能表現良好,比如儲存在大型資料庫中的人工建立的資訊。

《鋼鐵俠》 傳統英雄非傳統上位

鋼鐵俠 是美國08年暑期電影的第一炮,即使你把耳朵堵上,也可以清楚的聽到,這一炮打的確實很響。又是漫畫英雄!又是神奇公司!當marvel studios 一年一度的帶領著其手下花花綠綠的漫畫英雄一次又一次的掏走我們口袋中的銀兩時,我們對這種近似於打劫的做法早已麻木。乙個二流的導演,兩個三流的編劇,再...

傳統執行緒操作

傳統執行緒操作 author tanfei date 2012 02 02 public class traditionalthread catch interruptedexception e system.out.println thread.currentthread getname 列印執行...

傳統行業,IT行業!

宣告 所說傳統行業不是那種上千萬的集團行業,只是對於小眾的和我們生活衣食住行更加貼近的一些傳統行業 對每乙個行業都說不上太大的行話,但今天有了一些認識,主要是關於在中國傳統行業,和it行業之間的差異性,到底差異在 關鍵因素是在人,還是在於環境本身就如此,還是說在中國投機遠比其他要重要很多,還是說it...