python爬蟲入門 之基礎概念

2022-06-23 05:57:13 字數 1690 閱讀 9009

|anaconda3-5.0.0-windows-x86.exe

|anaconda3-5.0.0-macosx-x86_64.sh

|anaconda3-5.0.0-linux-ppc64le.sh|anaconda3-5.0.0-linux-x86.sh

推薦鏈結位址 :

#anaconda是乙個整合環境:

基於資料分析和機器學習的開發環境

#jupyter:超級終端

就是anaconda整合環境中提供的一種基於瀏覽器的視覺化開發工具

#cell有兩種常用模式

code   :編寫python程式

markdown:用於記錄筆記

programdata\anaconda3

#指令:

jupyter notebook  -->#jupyter從**啟動,根目錄就是哪兒

#進入jupyter:

shift + 滑鼠右鍵 --> 在此處開啟文件 --> 輸入jupyter notebook

# 乙個 ipynb 檔案對應著計算機中的 乙個快取

#插入cell :a,b

#刪除cell : x

#切換cell的模式 :y,m

#執行: shift + enter

#tab

#開啟幫助文件 :shift + tab

1.對稱金鑰加密(ssl加密)

ssl採用的加密技術叫做「共享金鑰加密」,也叫作「對稱金鑰加密」,這種加密方法是這樣的,比如客戶端向伺服器傳送一條資訊,首先客戶端會採用已知的演算法對資訊進行加密,比如md5或者base64加密,接收端對加密的資訊進行解密的時候需要用到金鑰,中間會傳遞金鑰,(加密和解密的金鑰是同乙個),金鑰在傳輸中間是被加密的。這種方式看起來安全,但是仍有潛在的危險,一旦被竊聽,或者資訊被挾持,就有可能破解金鑰,而破解其中的資訊。因此「共享金鑰加密」這種方式存在安全隱患.

2.非對稱秘鑰加密

「非對稱加密」使用的時候有兩把鎖,一把叫做「私有金鑰」,一把是「公開金鑰」,使用非物件加密的加密方式的時候,伺服器首先告訴客戶端按照自己給定的公開金鑰進行加密處理,客戶端按照公開金鑰加密以後,伺服器接受到資訊再通過自己的私有金鑰進行解密,這樣做的好處就是解密的鑰匙根本就不會進行傳輸,因此也就避免了被挾持的風險。就算公開金鑰被竊聽者拿到了,它也很難進行解密,因為解密過程是對離散對數求值,這可不是輕而易舉就能做到的事

但是非對稱秘鑰加密技術也存在如下缺點:

3.證書秘鑰加密方式

證書是被應用在https的加密操作中的,該證書是由證書認證機構頒布的,證書中包含公鑰(加密方式)

證書的具體傳播過程如下:

聚焦爬蟲

增量式爬蟲

避免風險

反爬機制

反反爬策略

python爬蟲之 入門基礎

可以參考我之前學習的時候 的一篇文章一次完整的http事務過程 超詳細 2.還需要了解一下http的請求方式 有興趣的同學可以去查一下http的八種請求方法,這裡呢主要說下get請求和post請求,這兩種在以後學習中會用到的比較多。get請求 get方法用於使用給定的uri從給定伺服器中檢索資訊,即...

python爬蟲之基礎概念篇

最近在學爬蟲,把學習過程做個記錄,也方便自己以後檢視。一 基礎概念篇 爬蟲在使用場景中的分類 通用爬蟲 抓取系統重要組成部分。抓取的是一整張頁面資料。聚焦爬蟲 是建立在通用爬蟲的基礎之上。抓取的是頁面中特定的區域性內容。增量式爬蟲 檢測 中資料更新的情況。只會抓取 中最新更新出來的資料。robots...

Python 爬蟲 概念基礎

通過編寫的程式,模擬瀏覽器,然後通過網際網路抓取資料分過程 爬蟲在使用中的分類 通用爬蟲 抓取系統的重要主城部分,抓取的是整張頁面的資料。聚焦爬蟲 建立在通用爬蟲的基礎上,抓取的是頁面中特定的內容。增量式爬蟲 檢測 中資料更新的情況,只會抓取 中最新更新的資料。反爬機制 各個 通過制定相應的策略或技...