PSL判定網域名稱字尾是否是合法註冊網域名稱

2021-09-13 02:41:25 字數 882 閱讀 3123

在做有關流量中網域名稱聚類的事情,需要進行資料過濾。做實驗過程中的小探索,如何利用psl(public suffix list)判斷網域名稱字尾是否合法,即是註冊網域名稱。

發現有兩個python的包,用兩個包做出來效果完全相同,即在同一資料集濾除相同的不合法網域名稱

#1.

from publicsuffix import publicsuffixlist

import codecs

psl_file = codecs.

open

('/home/wangqiang/public_suffix_list.dat'

, encoding=

'utf8'

)psl = publicsuffixlist(psl_file)

#psl_file = fetch()

i =len

(psl.get_public_suffix(domain)

.split(

".")

)if i <2:

#如果層數小於2,則說明不是合法註冊的網域名稱

print

(domain+

"illegal"

)#2.

from publicsuffixlist import publicsuffixlist

psl1 = publicsuffixlist(accept_unknown=

false

)#另乙個包 ,設定為不接受未知網域名稱,返回結果為空,說明不是合法的註冊網域名稱

if psl1.publicsuffix(domain)

==none

:print

(domain+

"illegal"

)

是否是工作日和節假日判定

根據節假日表分析當前日期是否屬於節假日配置表的時間以及判定當前日期是否屬於雙休日 首先建一張節假日表pricingholiday id 節假日時間 hdate 是否工作日 htype 2表示不上班 非工作日,1表示正常上班 工作日 判定 private string strworkingdayam ...

是否是工作日和節假日判定

根據節假日表分析當前日期是否屬於節假日配置表的時間以及判定當前日期是否屬於雙休日 首先建一張節假日表pricingholiday id 節假日時間 hdate 是否工作日 htype 2表示不上班 非工作日,1表示正常上班 工作日 判定 private string strworkingdayam ...

判定兩棵樹是否是同構樹(C語言)

如果樹 t1 通過交換其 某些 節點的左右兒子變換成樹 t2,則稱樹 t1 與樹 t2 同構。樹同構的判定 include include define yes 1 define no 0 typedef struct dtree tree typedef char elementtype void...