pattern = r'''(?x) # set flag to allow verbose regexps([a-z]\.)+ # abbreviations, e.g. u.s.a.
| \w+(-\w+)* # words with optional internal hyphens
| \$?\d+(\.\d+)?%? # currency and percentages, e.g. $12.40, 82%
| \.\.\. # ellipsis
| [.,;"'?():-_`] # these are separate tokens
'''re.findall(pattern,text)
stopword就是類似 a/an/and/are/then 的這類高頻詞，高頻詞會對基於詞頻的算分公式產生極大的干擾，所以需要過濾
**(python)：
簡單詞彙處理前後的對比：
英文分詞和中文分詞
由於英語的基本組成單位就是詞，所以相對來說簡單很多。大致分為三步 3s 根據空格拆分單詞 split 排除停止詞 stop word 提取詞幹 stemming 1 根據空格拆分單詞 這一步是是最簡單的一步，英語的句子基本上就是由標點符號 空格和詞構成，那麼只要根據空格和標點符號將詞語分割成陣列即可...
英文分詞 英文分詞處理中遇到的問題
之前一直和中文的自然語言處理打交道，最近因為工作關係需要進行英文相關的自然語言處理，本以為相對較難中文的nlp都搞的定，英文的還不是手到擒來 事實證明不同語系的nlp之間存在著較大的差異。中文雖然和拉丁語系的語音相比更為繁瑣，由拼音組成字音，再有字組成詞語，詞語組成句子文章等等等。但英語等拉丁語系語...
英文分詞演算法 Porter stemmer
porter stemmer 並不是要把單詞變為規範的那種原來的樣子，它只是把很多基於這個單詞的變種變為某一種形式！換句話說，它不能保證還原到單詞的原本，也就是 created 不一定能還原到 create 但卻可以使 create 和 created 都得到 creat 比如我輸入 create ...