2023年6月28日 python爬蟲學習

2022-02-21 08:30:15 字數 1280 閱讀 5576

1.寫入csv檔案

2.lxml的用法

3.自定義字典類的方法

4.bytes解碼得到str,str編碼得到bytes

5.json

import

csvimport

lxml.html

class

scrapccallback:

def__init__

(self):

self.witer=csv.writer(open("

test.csv

","a"))

self.fields =("

name

","age

","gred")

self.witer.writerow(self.fields)

tree= lxml.html.fromstring(html)

tree.cssselect('#content > p ')

3.

class my_dict:

def __setitem__(self, folder, result):

print(bool(folder))

if not folder:

os.mkdir(folder)

with open("test","wb") as fp:

fp.write(pickle.dumps(result))

def __getitem__(self, item):

if os.path.exists(item):

with open(item,"rb") as fp:

return pickle.load(fp)

#先例項化在使用

4.

s = b"

hello world

"print

(s, type(s))#解碼

s_1 = s.decode('

utf-8')

print

(s_1, type(s_1))#編碼

s_2 = s_1.encode("

utf-8")

print(s_2, type(s_2))

5 這裡我想吐槽下,python竟然不認識這樣的.....

string="

"

只認這樣的.....................oh,god.......

string = '

'

哎 ,,,心累啊 

工作日誌 2023年03月28日

ls顯示當前目錄的所有檔案。a可以顯示所有隱藏檔案。l可以使用更多資訊顯示模式,會顯示檔案的訪問許可權,修改時間等詳細資訊。cp命令用於進行檔案或者目錄的拷貝。r選項可以用來對目錄進行,例如copy cp r dir1 dir2,檔案拷貝為cp file1 file2,或者cp file1 dir1...

2023年 3月到2023年6月

這段時間在做乙個比較大的專案,工作量很大。總結一下吧。從2014年畢業到現在有3年多了,從android轉web端也有一段時間了。轉型的這段時間可以說挺痛苦的。剛開始還以為做web挺簡單的。但是到後面才發現事實並非如此。在這段時間踩了很多坑。1 做功能的時候忘了看設計原型跟需求文件,照著設計稿畫瓢,...

2023年4月28日工作日記

1.今早發現昨天定的定時任務沒有跑,結果是因為指定的sh檔案的許可權問題,需要chmod 77 sh。另外,定時任務執行sh檔案時候,進入各種資料夾的時候,路徑要寫全,因為執行這個sh檔案的時候,並不是位於這個sh檔案所在的目錄的。另另外,當crontab的任務沒有執行的時候,會有錯誤郵件,登入這台...