學習筆記 關於小白學習Python爬蟲的一些筆記

2021-10-03 20:58:14 字數 1295 閱讀 9840

requests與beautifulsoup爬取一些**的經驗

這是第一次寫的爬取**的程式,寫得不夠簡潔有些地方都寫的不是很規範,希望在以後能夠不斷勉勵寫出更好的 **。也做作為自己以後學習的乙個參考

import requests

from bs4 import beautifulsoup

import warnings

import os

import lxml

warnings.

filterwarnings

('ignore'

)os.

makedirs

('./abcd'

,exist_ok=

'true'

)url=

''def get_img

(page)

: head=

response=requests.

get(

'page/'

+f''

,headers=head)

response.encoding=

'utf-8'

soup=

beautifulsoup

(response.text,

'lxml'

,fromencoding=

'gb2312'

)print

(soup.

select

('a'))

img=soup.

find_all

('img'

)for imgu in img:

gg=imgu.

get(

'data-original'

)if gg is none:

continue

r=requests.

get(gg,headers=head)

imgname=

str(gg)

.split

('/')[

-1]print

(imgname)

with

open

(f'./abcd/'

,'wb'

)as fd:

for rr in r.

iter_content

(256):

fd.write

(rr)

for page in

range

(129

,150):

get_img

(page)

小白python學習筆記

1.cmd命令列下怎麼切換目錄 2.python對縮排有嚴格要求,要頂格寫,單引號 雙引號 可互換使用。3.如何在python中讓兩個print 函式輸出列印在同一行內 4.在windows下裝lightgbm包 具體是哪個教程能裝好,要自己嘗試了,費了很大功夫,最後也不知道是怎麼搞好的,反正不報錯...

nginx小白學習筆記

windows7,vmware12,centos7 ssh ssh secure shell client 因為我安裝的是centos7最小化版本,加上nginx是c語言編寫的,需要安裝一下相關依賴包。yum y install gcc automake autoconf libtool make ...

Python學習筆記 1 1 2 認識Python

一.課程目標 二.詳情解讀 1.初識pythonpython語言是一種高階程式語言,它於1991年由吉多.範羅蘇姆 guido van rossum 發明。目前主要應用於web開發 gui開發 網路爬蟲 資料科學 人工智慧等領域。python官方 python語言也是一種多正規化程式語言,即物件導向...