python 第一次寫爬蟲的總結

2021-09-19 10:19:04 字數 4224 閱讀 6546

背景:學長帶著學python,自己先看了一遍基礎知識。然後學長開始帶著上手爬蟲。爬取這個**上的「遊戲」分類下的(我爬的時候,在這個分類下共62頁)。

小結

import requests

("失敗"

("失敗"

, e)

**如下:

("失敗"

("失敗"

, e)在做第乙個任務的時候,因為剛剛接觸,很不熟悉,在最開始分析網頁的時候沒有分析好,導致最開始編寫的**有乙個小錯誤,一直找不到原因,花費了大量的時間。新手一定要認真分析網頁。

還有乙個錯誤,估計我這輩子都不會忘記。

url2 =

""+str

(i)+

".htm"

就是這一行**,坑死我了。t t

我把這一行**中的str(i)中的i理解為是可變的了,一直把它當作乙個變數看待。然而,在賦值的時候,是把i中的值賦值過去,在之後的程式中,如果沒有對url2中的值再進行修改,url2中的值並不會隨著i的值的變化而變化。

最後,鼓勵下我自己,加油!

爬蟲第一次

由於面試的需要,昨天看了下爬蟲,python的,原先一直以為很高階,但是才發現大體思路很清晰。1。連線到要抓取的某網 注意import urllib,比如這個樣子 def gethtml url page urllib.urlopen url html page.read return html 這...

第一次爬蟲

from bs4 import beautifulsoup import requests import time def get item info url 如何從詳情頁裡面要爬取的內容 url wb data requests.get url soup beautifulsoup wb data...

第一次除錯python爬蟲

建立檔案 vi pic down.py 執行 pic down.py 報錯 permission denied 解決 chmod a x pic down.py 執行 pic down.py 報錯 pic down.py line 1 import command not found 解決 在頭部加...