基於文字密度的新聞正文抽取方法之Python實現

2022-09-04 01:06:07 字數 2150 閱讀 8732

回顧以上的網頁分析,如果按照文字密度來找提取正文,那麼就是寫這麼乙個演算法,能夠從過濾html標籤後的文字中找到正文文字的起止行號,行號之間的文字就是網頁正文部分。

還是從上面三個網頁的分析結果看,他們都有這麼乙個特性:正文部分的文字密度要高出非正文部分很多。我們按照這個特性就可以很容易將演算法實現,那就是基於閾(讀音:yu)值去分析正文所在的位置。

那麼接下來就需要解決一些問題:

閾值的確定可以通過統計分析得出乙個比較好的值,我在實際處理過程中,發現這個值取180是比較合適的,也就是分析文字的時候,如果所分析的文字超過了180,那麼就可以認為到達了正文部分。

再有就是如何分析的問題,這個其實比較容易確定,一行行的分析效果肯定不好,如果在按行分析的過程中往下在分析幾行作為一次分析效果比較好。也就是一次性分析上5行左右,將字元累加起來,看看有沒有達到設定的閾值,如果達到了,那麼認為已經進入正文部分了。

import

refrom bs4 import

beautifulsoup,comment

import

requests

authorset =

defgetcontentfromweb(src):

obj =requests.get(src)

return

obj.text

deffilter_tags(html_str):

soup =beautifulsoup(html_str)

title =soup.title.string.encode().decode('

utf-8')

[script.extract()

for script in soup.findall('

script')]

[style.extract()

for style in soup.findall('

style')]

comments = soup.findall(text=lambda

text: isinstance(text, comment))

[comment.extract()

for comment in

comments]

reg1 = re.compile("

<[^>]*>")

content = reg1.sub('', soup.prettify()).split('\n'

)

return

title,content

defgetcontent(lst,title,authorset):

lstlen = [len(x) for x in

lst]

threshold=50startindex =0

maxindex =lstlen.index(max(lstlen))

endindex =0

for i,v in enumerate(lstlen[:maxindex-3]):

if v> threshold and lstlen[i+1]>5 and lstlen[i+2]>5 and lstlen[i+3]>5:

startindex =i

break

for i,v in

enumerate(lstlen[maxindex:]):

if v< threshold and lstlen[maxindex+i+1]<10 and lstlen[maxindex+i+2]<10 and lstlen[maxindex+i+3]<10:

endindex =i

break

content =['

'+x.strip()+'

'for x in lst[startindex:endindex+maxindex] if len(x.strip())>0]

return

content

defrun(url):

ctthtml=getcontentfromweb(url)

title,content =filter_tags(ctthtml)

newcontent =getcontent(content,title,authorset)

ctt =''

.join(newcontent)

return title,ctt

基於文字密度的新聞正文抽取方法之Python實現

回顧以上的網頁分析,如果按照文字密度來找提取正文,那麼就是寫這麼乙個演算法,能夠從過濾html標籤後的文字中找到正文文字的起止行號,行號之間的文字就是網頁正文部分。還是從上面三個網頁的分析結果看,他們都有這麼乙個特性 正文部分的文字密度要高出非正文部分很多。我們按照這個特性就可以很容易將演算法實現,...

基於行塊分布函式的正文抽取

的正文抽取演算法思路 1 預處理 剔除網頁html標籤,去掉所有的空白符 n,r,t等 2 依據 n 分行,若某文字行的上下存在兩個空行,且此文本行長度小於閾值40,則刪除此文本行 3 設定三行為一行塊,計算每段行塊的長度 4 找出每個連續有字元的段落,並找到起點和終點 要求 行塊長度大於0 段落開...

基於行塊分布函式的通用網頁正文抽取

基於行塊分布函式的通用網頁正文抽取 線性時間 不建dom樹 與html標籤無關 對於web資訊檢索來說,網頁正文抽取是後續處理的關鍵。雖然使用正規表示式可以準確的抽取某一固定格式的頁面,但面對形形色色的html,使用規則處理難免捉襟見肘。能不能高效 準確的將乙個頁面的正文抽取出來,並做到在大規模網頁...