在全文檢索中，詞頻統計是乙個比較常見的需求。例如我們需要分析兩個文字的相似性時使用的tf(term frequency 詞頻)/idf(inverse document frequency 逆向文字頻率)演算法就需要統計詞頻。
那麼pg中如何在一堆文字中，找到熱詞，或者對詞頻進行分析呢？
pg內建的ts_stat函式可以實現該功能，ts_stat函式用法如下：
ts_stat(sqlquery text
,[ weights text,]
out word text
,out ndoc integer
,out nentry integer
)returns setof record
sqlquery：是包含sql查詢的文字值，該查詢必須返回單個tsvector列。
word text：詞的值。
ndoc integer：單詞出現的文件數。
nentry integer：單詞出現的總數。
例子：
1、建立生成隨機字串的函式
bill=
# create or replace function gen_rand_str(int) returns text as $$
bill$# select substring(md5(random()::text), 4, $1);
bill$# $$ language sql strict stable;
create
function
bill=
# create or replace function gen_rand_tsvector(int,int) returns tsvector as $$
bill$# select array_to_tsvector(array_agg(gen_rand_str($1))) from generate_series(1,$2);
bill$# $$ language sql strict;
create
function
bill=
# create table ts_test(id int, info tsvector);
create
table
bill=
# insert into ts_test select generate_series(1,100000), gen_rand_tsvector(4,10);
insert
0100000
bill=
# select * from ts_stat('select info from ts_test')
bill-
# order by nentry desc, ndoc desc, word
bill-
# limit 10;
word | ndoc | nentry
------+------+--------
4b1c |35|
355a11 |35|
35 a181 |34|
34 f6a2 |34|
3426f2 |32|
324f3b |32|
32 d561 |32|
320d4c |31|
31126e |31|
3122f5 |31|
31(10rows
)
bill=
# insert into ts_test select generate_series(1,100000), gen_rand_tsvector(2,10);
insert
0100000
bill=
# select * from ts_stat('select info from ts_test')
bill-
# order by nentry desc, ndoc desc, word
bill-
# limit 10;
word | ndoc | nentry
------+------+--------
ae |
4051
|4051
c0 |
4010
|4010
e2 |
4009
|4009
d9 |
3967
|3967
6a |
3964
|396419|
3956
|3956
bb |
3955
|3955
f7 |
3951
|395115|
3937
|3937
dd |
3935
|3935(10
rows
)
PTA 詞頻統計
請編寫程式，對一段英文文字，統計其中所有不同單詞的個數，以及詞頻最大的前10 的單詞。所謂 單詞 是指由不超過80個單詞字元組成的連續字串，但長度超過15的單詞將只擷取保留前15個單詞字元。而合法的 單詞字元 為大小寫字母 數字和下劃線，其它字元均認為是單詞分隔符。輸入給出一段非空文字，最後以符號 ...
詞頻統計（上機）
include include include define error 1 define ok 0 const int word length 250 定義單個單詞最大長度 typedef int status 定義儲存單詞及其出現次數的結構體 typedef struct nodewordnod...
hamlet詞頻統計
part2 code 10.1calhamlet.py def gettext txt open hamlet.txt r read 將文字中的英文本母全部轉為小寫字母 txt txt.lower return txt hamlettxt gettext words hamlettxt.split ...