自然語言處理（nlp）是現代電腦科學和人工智慧領域的乙個重要分支，是一門融合了語言學、數學、電腦科學的科學。這一領域的研究將涉及自然語言，即人們日常使用的語言，所以它與語言學的研究有著密切的聯絡，但又有重要的區別。自然語言處理並不是一般地研究自然語言，而在於研製能有效地實現自然語言通訊的計算機系統，特別是其中的軟體系統。因而它是電腦科學的一部分。
詞法分析
基於大資料和使用者行為，對自然語言進行中文分詞、詞性標註、命名識體識別，定位基本語言元素，消除歧義，支撐自然語言的準確理解。
中文分詞 —— 將連續的自然語言文字，切分成具有語義合理性和完整性的詞彙序列
詞性標註 —— 將自然語言中的每個詞，賦予乙個詞性，如動詞、名詞、副詞
命名實體識別 —— 即專有名詞識別，識別自然語言文字中具有特殊意義的實體，如人名、機構名、地名
依存句法分析
利用句子中詞與詞之間的依存關係，來表示詞語的句法結構資訊，並用樹狀結構來表示整句的結構。依存句法分析主要有幾大作用：
精準理解使用者意圖。當使用者搜尋時輸入乙個query，通過依存句法分析，抽取語義主幹及相關語義成分，實現對使用者意圖的精準理解。
知識挖掘。對大量的非結構化文字進行依存句法分析，從中抽取實體、概念、語義關係等資訊，構建領域知識。
語言結構匹配。基於句法結構資訊，進行語言的匹配計算，提公升語言匹配計算的準確率。
詞向量表示
詞向量計算是通過訓練的方法，將語言詞表中的詞對映成乙個長度固定的向量。詞表中的所有詞向量構成了乙個向量空間，每乙個詞都是這個向量空間中的乙個點。利用這種方法，實現文字的可計算。主要應用在：
快速召回結果。不同於傳統的倒排索引結構，構建基於詞向量的快速索引技術，直接從語義相關性的角度召回結果。
個性化推薦。基於使用者的過去行為，通過詞向量計算，學習使用者的興趣，實現個性化推薦。
dnn語言模型
語言模型是通過計算給定詞組成的句子的概率，從而判斷所組成的句子是否符合客觀語言表達習慣。通常用於機器翻譯、拼寫糾錯、語音識別、問答系統、詞性標註、句法分析和資訊檢索等。
詞義相似度
用於計算兩個給定詞語的語義相似度，基於自然語言中的分布假設，即越是經常共同出現的詞之間的相似度越高。詞義相似度是自然語言處理中的重要基礎技術，是專名挖掘、query改寫、詞性標註等常用技術的基礎之一。主要應用：
專名挖掘 —— 通過詞語間語義相關性計算尋找人名、地名、機構名等詞的相關詞，擴大專有名詞的詞典，更好的輔助應用
query改寫 —— 通過尋找搜尋query中詞語的相似詞，進行合理的替換，從而達到改寫query的目的，提高搜尋結果的多樣性。
短文本相似度
短文本相似度計算服務能夠提供不同短文本之間相似度的計算，輸出的相似度是乙個介於-1到1之間的實數值，越大則相似度越高。這個相似度值可以直接用於結果排序，也可以作為一維基礎特徵作用於更複雜的系統。
情感傾向分析
針對帶有主觀描述的中文文字，可自動判斷該文字的情感極性類別並給出相應的置信度。情感極性分為積極、消極、中性。情感傾向分析能幫助企業理解使用者消費習慣、分析熱點話題和危機輿情監控，為企業提供有力的決策支援。
人工智慧 自然語言處理 知識解構
自然語言處理包含4個部分 1 語言識別，語音合成 2 自然語言理解，對話理解，知識獲取和問答，任務理解 3 底層的機器學習 tennsorflow和other 4 個性化資訊的獲取和利用 其中兩個重要的競品分析 google的產品 各種語言場景 alexa亞馬遜產品 基於雲計算的對話機械人產品，nl...
人工智慧 深度學習與自然語言處理
如何自動處理自然語言輸入 並產生語言輸出，是人工智慧的重要研究方向。這門課主要講授近2 3年深度學習在自然語言處理方面的最新發展。課程從相關機器學習模型的數學原理和最優演算法講起，將會講到神經網路在nlp中的一系列應用，包括潛在語義分析 語音到文字的轉錄 語言翻譯以及問答，同時也會講到這些模型在cp...
人工智慧 之 自然語言處理（NLP）演算法分類總結
二 詳細演算法 三 建模方面 人工智慧演算法大體上來說可以分類兩類 基於統計的機器學習演算法 machine learning 和深度學習演算法 deep learning 總的來說，在sklearn中機器學習演算法大概的分類如下 1 回歸演算法 2 分類演算法 3 聚類演算法 4 降維演算法 5 ...