短文本聚類方法(QA)

2021-08-11 11:01:03 字數 928 閱讀 9046

在拿到乙個大規模資料集時,我們不可能對這麼多的問題進行注意打上標記(label),因為這個是非常耗時的。而且,我們還知道文字問題是乙個典型的多標記問題,這個時候打上的標記很多的時候都不會特別的精確,也就是我們通常說的弱標記weak label. 這個時候我們就需要乙個聚類的方法,這樣可以先把所有的文字集聚類成幾個簇,每個簇的標記相似性就比較大,這樣以來對打上標記的工作就減輕了許多精力。

短文本聚類的研究在自動問答系統中有著比較重要的意義,因為互動式問答系統中的問題實際上就是乙個特殊形式的短文本。

其實如果把每個單詞的權重認為一樣的話,那麼s1和s2的應該聚到一起去,但是假如我們增加了google, yahoo!的權重,那麼s2和s3就會聚到一起。

顯然,我們需要對問題樣本中的每個單詞都賦予一定的權重。如果當前當前ti是問題的核心詞,那麼權重應該高;否則,權重低。我們可以想到tf-idf值可以用來充當特徵權重的角色。具體實現如下:

每個問題看作乙個向量,使用tf-idf方法可以提取問題中每個單詞的詞頻,以及單詞出現的文件數等資訊。其中,我們可以使用單詞ti在問題d中出現的次數來作為詞頻tf,用ti出現在不同問題的個數來計算反詞頻,這樣tf-idf就可以計算出來了。但是,我們發現:在自動問答系統中,每個問題包含的單詞數量很少,如果出現了該單詞,那麼基本上出現的次數都是1,否則就是不出現,為0. 所以,我們可以簡化每個單詞的權重計算方式如下:

這樣,我們便可以把問題特徵提取出來了。而在距離度量方式方面,我們可以簡單的使用兩個向量點積的方式來計算。此時,有了問題樣本提取出來的特徵,以及距離計算方式,我們便可以運用k-means聚類的思想,實現自動問答系統中的聚類。

短文本聚類方法

短文本聚類方法 在拿到乙個大規模資料集時,我們不可能對這麼多的問題進行注意打上標記 label 因為這個是非常耗時的。而且,我們還知道文字問題是乙個典型的多標記問題,這個時候打上的標記很多的時候都不會特別的精確,也就是我們通常說的弱標記weak label.這個時候我們就需要乙個聚類的方法,這樣可以...

基於ML的中文短文本聚類

整個過程分為以下幾個步驟 一 引入,python 依賴包,並載入語料 import random import jieba import pandas as pd import numpy as np from sklearn.feature extraction.text import tfidf...

文字聚類 用k means對文字進行聚類

coding utf 8 created on thu nov 16 10 08 52 2017 author li pc import jieba from sklearn.feature extraction.text import tfidfvectorizer from sklearn.cl...