雪球網 存入mysql

2021-08-24 18:22:33 字數 1323 閱讀 6216

import requests


import json


from mysq1 import mysql_conn


# **池


proxy = 


# 定義max_id 和page 的初始值


n = -1


page=10


mc = mysql_conn()


for i in range(5):


# 通過.format()將max_id與page的值分別進行迴圈新增


url="".format(n,page)


headers=


# 傳送requests.get請求


response=requests.get(url,headers=headers,proxies=proxy)


# 將獲取資料通過json.loads轉換成字典


html_dict=json.loads(response.content.decode('utf-8'))


# print(html_dict)


# 通過 鍵 獲取list值


list_list=html_dict['list']


# print(list_list)


# print(type(list_list))


n=int(html_dict['next_max_id'])


# 給page 重新賦值 從第二次迴圈（第二頁起每頁count的值為15）


page=15


# 通過遍歷獲取data 的值


for i in list_list:


i =i['data']


# print(i)


# 分別提取 想要獲取的字段 id,title,description,target


user_dict = json.loads(i)


id=user_dict['id']


title=user_dict['title']


description=user_dict['description']


target=user_dict['target']


# 存入mysql repr():原樣輸出


sql = 'insert into xueqiu(uid,title,description,target) values ({},{},{},{})'.format(repr(id),repr(title),repr(description),repr(target))


# 將下面**改為全域性變數 避免重複呼叫資料庫 開啟mysql


# mc = mysql_conn()


mc.execute_modify_mysql(sql)

雪球網爬取

import json import requests import pymysql mysql coon 主要的功能就是,將鏈結資料庫的操作變成只連線一次 class mysql conn object 魔術方法,初始化,建構函式 def init self self.db pymysql.con...

雪球網爬取資料並存入資料庫

from urllib import request import json import pymysql class mysql connect object 初始化的建構函式 def init self self.db pymysql.connect host 127.0.0.1 user ro...

爬取雪球網案例

import pymysql class mysql conn object 魔術方法，初始化，析構函式 def init self self.db pymysql.connect localhost root xueqiu text 建立游標物件 self.cursor self.db.curso...