python爬蟲學習之爬取超清唯美桌布

2021-09-26 02:44:41 字數 3236 閱讀 4731

桌布的選擇其實很大程度上能看出電腦主人的內心世界,有的人喜歡風景,有的人喜歡星空,有的人喜歡美女,有的人喜歡動物。然而,終究有一天你已經產生審美疲勞了,但你下定決定要換桌布的時候,又發現網上的桌布要麼解析度低,要麼帶有水印。

在學習過程中有什麼不懂得可以加我的

python學習交流扣扣qun,934109170

群裡有不錯的學習教程、開發工具與電子書籍。

與你分享python企業當下人才需求及怎麼從零基礎學習好python,和學習什麼內容。

'''# -*- coding:utf-8 -*-

from requests import get

from filetype import guess

from os import rename

from os import makedirs

from os.path import exists

from json import loads

from contextlib import closing

def down_load(file_url, file_full_name, now_photo_count, all_photo_count):

with closing(get(file_url, headers=headers, stream=true)) as response:

chunk_size = 1024 # 單次請求最大值

content_size = int(response.headers['content-length']) # 檔案總大小

data_count = 0 # 當前已傳輸的大小

with open(file_full_name, "wb") as file:

for data in response.iter_content(chunk_size=chunk_size):

file.write(data)

done_block = int((data_count / content_size) * 50)

data_count = data_count + len(data)

now_jd = (data_count / content_size) * 100

print("\r %s:[%s%s] %d%% %d/%d" % (file_full_name, done_block * '█', ' ' * (50 - 1 - done_block), now_jd, now_photo_count, all_photo_count), end=" ")

file_type = guess(file_full_name)

rename(file_full_name, file_full_name + '.' + file_type.extension)

# 爬取不同型別

def crawler_photo(type_id, photo_count):

# 最新 1, 最熱 2, 女生 3, 星空 4

if(type_id == 1):

url = '' + str(photo_count)

elif(type_id == 2):

url = '' + str(photo_count)

elif(type_id == 3):

url = '' + str(photo_count)

elif(type_id == 4):

url = '' + str(photo_count)

# 獲取列表資料

respond = get(url, headers=headers)

photo_data = loads(respond.content)

now_photo_count = 1

# 所有張數

all_photo_count = len(photo_data)

for photo in photo_data:

if not exists('./' + str(type_id)):

makedirs('./' + str(type_id))

file_url = photo['urls']['raw']

file_name_only = file_url.split('/')

file_name_only = file_name_only[len(file_name_only) -1]

# 準備儲存到本地的完整路徑

file_full_name = './' + str(type_id) + '/' + file_name_only

down_load(file_url, file_full_name, now_photo_count, all_photo_count)

now_photo_count = now_photo_count + 1

if __name__ == '__main__':

# 最新 1, 最熱 2, 女生 3, 星空 4

# 爬取型別為3的(女生),一共準備爬取20000張

wall_*****_id = 1

wall_*****_count = 10

while(true):

# 換行符

print('\n\n')

# 選擇桌布型別

wall_*****_id = input("桌布型別:最新桌布 1, 最熱桌布 2, 女生桌布 3, 星空桌布 4\n請輸入編號以便選擇5k超清桌布型別:")

# 判斷輸入是否正確

while(wall_*****_id != str(1) and wall_*****_id != str(2) and wall_*****_id != str(3) and wall_*****_id != str(4)):

wall_*****_id = input("桌布型別:最新桌布 1, 最熱桌布 2, 女生桌布 3, 星空桌布 4\n請輸入編號以便選擇5k超清桌布型別:")

# 判斷輸入是否正確

while(int(wall_*****_count) <= 0):

# 開始爬取5k高畫質桌布

crawler_photo(int(wall_*****_id), int(wall_*****_count))

Python爬蟲之爬取動漫之家

python爬蟲之爬取動漫之家 小白上手爬蟲第一天,簡單爬取 動漫之家。小小目標 1.爬取5頁的動漫 2.以list返回其動漫位址和動漫名字 簡單粗暴,直接附上原始碼 import requests import re 獲取頁面 defgethtmltext url try kv r request...

python爬蟲初戰之小說爬取

廢話不多說,上 總體思路是構建函式然後迴圈。函式分兩塊,第乙個函式得到標題和每一章節的 第二個函式得到每一章節的具體內容,然後迴圈就ok。import urllib.request as req import re 開啟頁面,找到正文 url name 流星蝴蝶劍 defget url title ...

爬蟲之小說爬取

以筆趣閣 為例,爬取一念永恆這本 具體 如下 1 from bs4 import beautifulsoup 2from urllib import request 3import requests 4importre5 import sys6 def down this chapter chapt...