Python爬取豆瓣top250電影資訊

2021-09-17 01:37:09 字數 1514 閱讀 3159

2.re正規表示式

import requests

req = requests.get(

"")print

(req.status_code)

分類

分類描述

1**資訊,伺服器收到請求,需要請求者繼續執行操作

2**成功,操作被成功接收並處理

3**重定向,需要進一步的操作以完成請求

4**客戶端錯誤,請求包含語法錯誤或無法完成請求

5**伺服器錯誤,伺服器在處理請求的過程中發生了錯誤

re.match函式:嘗試從字串的起始位置匹配乙個模式,如果不是起始位置匹配成功的話,match()就返回none

re.search:re.search 掃瞄整個字串並返回第乙個成功的匹配

re.sub:用於替換字串中的匹配re.compile :compile 函式用於編譯正規表示式,生成乙個正規表示式( pattern )物件,供 match() 和search() 這兩個函式使用

findall:在字串中找到正規表示式所匹配的所有子串,並返回乙個列表,如果沒有找到匹配的,則返回空列表

re.finditer:和findall 類似,在字串中找到正規表示式所匹配的所有子串,並把它們作為乙個迭代器返回

re.split:split方法按照能夠匹配的子串將字串分割後返回列表

python練習簡單爬取豆瓣網top250電影資訊

因為有的電影詳情裡沒有影片的又名,所以沒有爬取電影的又名。基本思路 爬取top250列表頁展示中電影的排行榜排名,電影詳情鏈結,電影名稱。然後通過電影鏈結進入到詳情頁,獲取詳情頁的原始碼,再進行爬取,爬取後的資料儲存在字典中,通過字典儲存在mongo資料庫中的。from urllib.request...

爬蟲教程 用Scrapy爬取豆瓣TOP250

文章首發於 guanngxu 的個人部落格 用scrapy爬取豆瓣top250 最好的學習方式就是輸入之後再輸出,分享乙個自己學習scrapy框架的小案例,方便快速的掌握使用scrapy的基本方法。本想從零開始寫乙個用scrapy爬取教程,但是官方已經有了樣例,一想已經有了,還是不寫了,盡量分享在網...

Python小爬蟲 抓取豆瓣電影Top250資料

寫leetcode太累了,偶爾練習一下python,寫個小爬蟲玩一玩 比較簡單,抓取豆瓣電影top250資料,並儲存到txt 上傳到資料庫中。通過分析可以發現,不同頁面之間是有start的值在變化,其他為固定部分。以物件導向的編碼方式編寫這個程式,養成好的編碼習慣。基本資訊在 init 函式中初始化...