資訊抽取是乙個寬泛的概念，指的是從非結構化文字中提取結構化資訊的一類技術。這類技術依然分為基於規則的正則匹配、有監督學習和無監督學習等各種實現方法。我們將使用一些簡單實用的無監督學習方法。由於不需要標註語料庫，所以可以利用海量的非結構化文字。
新詞是乙個相對的概念，每個人的標準都不一樣，所以我們這裡定義: 詞典之外的詞語(oov)稱作新詞。
新詞的提取對中文分詞而言具有重要的意義，因為語料庫的標註成本很高。那麼如何修訂領域詞典呢，此時，無監督的新詞提取演算法就體現了現實意義。
如果文字足夠大，再用通用的詞典過濾掉「舊詞」，就可以得到「新詞」。
片段（待檢測詞） 外部左右搭配的豐富程度，可以用 資訊熵 來衡量，
而片段內部搭配的固定程度可以用子串行的 互資訊 來衡量。
# -*- coding:utf-8 -*-
# author：hankcs
# date: 2018-07-30 21:03
# 《自然語言處理入門》9.1 新詞提取<
for迴圈那點事兒 CodingPark程式設計公園
給定乙個整數陣列 nums 和乙個目標值 target，請你在該陣列中找出和為目標值的那 兩個 整數，並返回他們的陣列下標。你可以假設每種輸入只會對應乙個答案。但是，陣列中同乙個元素不能使用兩遍。示例 給定 nums 2,7,11,15 target 9 因為 nums 0 nums 1 2 7 9...
資訊抽取之街道抽取
從給定的語料中抽取出相應的道路資訊。資料向塘北大道西50公尺 天龍路與龍華路交叉口北50公尺 觀瀾大道490號附近 成都市錦江區海椒市街13號附7號 玉蘭西路 團結北路23號 湖塘鎮火炬北路12號 昆明市晉寧區莊蹺西路28 金水路合作路28 1號 長公大道浙江顯家門業閬中總 旁 安陽街道嶺下東路4號...
Java抽取網頁資訊
使用正規表示式及字串操作，抽取網頁資訊 去script public static string trimscript string content return result 去除注釋 public static string trimcomment string content return r...