python 爬蟲小疑問 (未完待續)

2021-09-27 20:03:57 字數 659 閱讀 8543

q 1 :web crawlingweb scraping的區別在**?

a 1: 簡單來說,web crawling指的僅僅是使用爬蟲機械人來索引網頁,檢視網頁的資訊,類似搜尋引擎的工作;而web scraping涉及到資料提取,儲存,計算等技術。scrapy 是web scrapying常用的乙個框架。

q2:爬蟲基本教程?

a2:step 1 : 使用urllib包得到網頁原始碼

step 2 : 把原始碼放進bs包裡,得到乙個soup

step 3:使用soup來得到各種標籤的內容

以上就是簡單的爬蟲步驟

q3:什麼是beautiful soup

q3:在step1中得到的網頁,一般來說可以自行使用正規表示式來進行解析網頁,比如寫乙個定位< p > 標籤 或者< a > 標籤。但是很費時間,這時候,beaufifulsoup是乙個已經寫好了的包,可以直接使用。bs裡面有html解析器,xml解析器等。可以很方便的使用

q4 :什麼是scrapy?

a4:正如第一問所說, scrapy是乙個常用的商業框架,不僅可以簡單的爬取資料,還可以進行大量的資料處理,儲存,分析等功能。

oracle小知識(未完待續)

總結一下學習中碰到的知識 1,當前使用者檢視哪些使用者或角色有檢視自己的segment的許可權 select table name,grantee,privilege from user tab privs made where table name segment name 注 這裡的segmen...

css小技巧(未完待續。。。。)

css小技巧 1 在定位模式下,使用right覆蓋原有的left屬性,需將left設定為auto,再設定right即可 2 在做前端頁面結構時必須要考慮不同解析度顯示問題,最好是以乙個不變的div為父級進行定位這樣會比較好調整 3 強制一行顯示並顯示 overflow hidden text ove...

nginx 未完待續

yum install y pcre yum install y pcre devel yum install y openssl yum install y openssl devel yum install y zlib yum install y gccyum安裝 yum install y ...