1. 網頁提取正文的方法有哪些？
基於統計資訊： 基於dom的網頁主題資訊自動提取， 使用特徵文字密度的網頁正文提取， 基於標籤密度的自適應正文提取方法， 基於行塊分布函式的正文提取方法。
基於視覺
基於決策樹
基於包裝器
2. 有哪些中文分詞方法
基於字串匹配的分詞方法
一般的做法是首選根據停頓詞（比如：的，是等）將字串分解多個更小的字串，之後在對分解後的字串分詞，該分詞方法有幾類分詞規則：正向匹配，逆向匹配；最少切分（乙個字串中切分的詞最少），或者是如上幾類分詞規則的組合。
基於理解的分詞方法，
這種分詞方法是通過讓計算機模擬人對句子的理解，達到識別詞的效果。其基本思想就是在分詞的同時進行句法、語義分析，利用句法資訊和語義資訊來處理歧義現象。它通常包括三個部分：分詞子系統、句法語義子系統、總控部分。在總控部分的協調下，分詞子系統可以獲得有關詞、句子等的句法和語義資訊來對分詞歧義進行判斷，即它模擬了人對句子的理解過程。這種分詞方法需要使用大量的語言知識和資訊。由於漢語語言知識的籠統、複雜性，難以將各種語言資訊組織成機器可直接讀取的形式，因此目前基於理解的分詞系統還處在試驗階段。
基於通過的分詞方法
從形式上看，詞是穩定的字的組合，因此在上下文中，相鄰的字同時出現的次數越多，就越有可能構成乙個詞。因此字與字相鄰共現的頻率或概率能夠較好的反映成詞的可信度。可以對語料中相鄰共現的各個字的組合的頻度進行統計，計算它們的互現資訊。定義兩個字的互現資訊，計算兩個漢字x、y的相鄰共現概率。互現資訊體現了漢字之間結合關係的緊密程度。當緊密程度高於某乙個閾值時，便可認為此字組可能構成了乙個詞。
3. 中分分詞的難點是什麼
1、歧義識別
2、新詞識別
4. 現有的流行的搜尋引擎的採用了哪些分詞方法谷歌採取的是逆向最大匹配法，並印證了對專有名詞和新詞識別能力差。
搜尋引擎原理
乙個搜尋引擎由搜尋器 索引器 檢索器和使用者介面等四個部分組成。1.搜尋器 搜尋器的功能是在網際網路中漫遊，發現和蒐集資訊。它常常是乙個電腦程式，日夜不停地執行。它要盡可能多 盡可能快地蒐集各種型別的新資訊，同時因為網際網路上的資訊更新很快，所以還要定期更新已經蒐集過的舊資訊，以避免死連線和無效連線...
中文分詞和搜尋引擎
搜尋引擎，上網的人基本上都不陌生了，cnnic的第17次 網際網路調查報告 顯示，使用搜尋引擎服務的網民，僅次於電子郵件。中文分詞，估計了解的人並不多，畢竟太技術，太底層。但中文分詞是中文搜尋引擎系統中非常重要的模組，這裡之所以強調是中文搜尋引擎，是針對英文搜尋引擎來講，因為對於英文來說，空格代表詞...
中文分詞和搜尋引擎
winter 搜尋引擎，上網的人基本上都不陌生了，cnnic的第17次 網際網路調查報告 顯示，使用搜尋引擎服務的網民，僅次於電子郵件。中文分詞，估計了解的人並不多，畢竟太技術，太底層。但中文分詞是中文搜尋引擎系統中的非常重要的模組，這裡之所以強調是中文搜尋引擎，是針對英文搜尋引擎來講，因為對於英文...