Python爬蟲之微博評論爬取

import requests #請求

import time #時間

from fake_useragent import useragent #隨機請求頭

import re 正則模組

直接攜帶cookie+引數請求即可

這個方法很簡單，但是只能爬取50頁左右，如果要全部爬取下來，需要搞個**池。

感興趣的可以看看這個教程，**池搭建方法

完整**

import requests

import time
from fake_useragent import useragent
import random
import re
class
weibo_comment
(object):
def__init__
(self)
: self.ua = useragent(
) self.i =
[i for i in
range(1
,50)]
self.headers =
print
(self.headers)
defget_comment
(self,num)
: self.datas =
for i in
range
(num)
: time.sleep(3)
if i==1:
continue
else
:print
('-'*20
+'正在爬取第{}頁'
爬蟲之爬取微博
3忘記了包含yeild的函式生成器目的是可以作為乙個迭代物件 貼源 importrequests fromurllib.parseimporturlencode frompyqueryimportpyqueryaspq base url header defget page page,value p...
用python寫網路爬蟲 爬取新浪微博評論
首先微博的站點有四個，pc 端weibo.com weibo.cn以及移動端m.weibo.com 無法在電腦上瀏覽 在網上大致瀏覽了一下，普遍都認為移動端爬取比較容易，故選擇移動端進行爬取。登陸m.weibo.cn之後，找到指定微博，例如如下微博 detail 4493649780161355 找...
Python爬取新浪微博評論資料，寫入csv檔案中
操作步驟如下 2.開啟m.weibo.cn 3.查詢自己感興趣的話題，獲取對應的資料介面鏈結 4.獲取cookies和headers coding utf 8 import requests import csvimport osbase url cookies headers path os.ge...