眾所周知，英文是以詞為單位的，詞和詞之間是靠空格隔開，而中文是以字為單位，句子中所有的字連起來才能描述乙個意思。例如，英文句子i am a student，用中文則為：「我是乙個學生」。計算機可以很簡單通過空格知道student是乙個單詞，但是不能很容易明白「學」、「生」兩個字合起來才表示乙個詞。把中文的漢字序列切分成有意義的詞，就是中文分詞，有些人也稱為切詞。我是乙個學生，分詞的結果是：我是 乙個 學生。
目前主流的中文分詞演算法有：
1、基於字串匹配的分詞方法
這種分詞方法是通過讓計算機模擬人對句子的理解，達到識別詞的效果。其基本思想就是在分詞的同時進行句法、語義分析，利用句法資訊和語義資訊來處理歧義現象。它通常包括三個部分：分詞子系統、句法語義子系統、總控部分。在總控部分的協調下，分詞子系統可以獲得有關詞、句子等的句法和語義資訊來對分詞歧義進行判斷，即它模擬了人對句子的理解過程。這種分詞方法需要使用大量的語言知識和資訊。由於漢語語言知識的籠統、複雜性，難以將各種語言資訊組織成機器可直接讀取的形式，因此目前基於理解的分詞系統還處在試驗階段。
3、基於統計的分詞方法
從形式上看，詞是穩定的字的組合，因此在上下文中，相鄰的字同時出現的次數越多，就越有可能構成乙個詞。因此字與字相鄰共現的頻率或概率能夠較好的反映成詞的可信度。可以對語料中相鄰共現的各個字的組合的頻度進行統計，計算它們的互現資訊。定義兩個字的互現資訊，計算兩個漢字x、y的相鄰共現概率。互現資訊體現了漢字之間結合關係的緊密程度。當緊密程度高於某乙個閾值時，便可認為此字組可能構成了乙個詞。這種方法只需對語料中的字組頻度進行統計，不需要切分詞典，因而又叫做無詞典分詞法或統計取詞方法。但這種方法也有一定的侷限性，會經常抽出一些共現頻度高、但並不是詞的常用字組，例如「這一」、「之一」、「有的」、「我的」、「許多的」等，並且對常用詞的識別精度差，時空開銷大。實際應用的統計分詞系統都要使用一部基本的分詞詞典（常用詞詞典）進行串匹配分詞，同時使用統計方法識別一些新的詞，即將串頻統計和串匹配結合起來，既發揮匹配分詞切分速度快、效率高的特點，又利用了無詞典分詞結合上下文識別生詞、自動消除歧義的優點。
織夢之路 織夢自定義函式教程
織夢有很多內建函式，比如常見的 mydate html2text等函式，但這些函式對自定義程度高的專案來說是遠遠不夠的，所以我們需要自己定義函式使用，就像使用mydate一樣！1 找到自定函式檔案 include extend.func.php 2 新增自定義函式 可以使用全域性變數 globals...
install 織夢補充
in winmysqladmin1.4,in the database item,refresh,you can see a new database dedev3 has been created.mysqld basedir e server mysql server bind address ...
織夢入門arclist
標籤名稱 arclist 標記簡介 織夢常用標記，也稱為自由列表標記，其中imglist imginfolist specart coolart autolist都是由該標記所定義的不同屬性延伸出來的別名標記。功能說明 獲取指定文件列表 適用範圍 全域性使用 基本語法 field title 引數說...