2.建立 py2和py3虛擬環境 virtualenv -p /user/bin/python3 py3
3.windows pip install virtualenv
4.virtualenv scrapytest 在當前建立虛擬環境 進入虛擬環境 cd scripts 執行active.bat 推出deactive.bat
5.新建py3虛擬環境 virtualenv -p py3路徑/python.exe py3
1.虛擬環境的安裝。
1.安裝 pip install virtualenv
1.他的命令 virtualenv py2 ->在當前目錄下建立乙個虛擬環境
2.virtualenv -p py2-路徑/python.exe py2 建立乙個py2的虛擬環境
1.workon 列出所有虛擬環境 workon name 執行虛擬環境
2.mkvirtualenv name 預設路徑：c:users/administrator/envs 自己設定 path-> workon_home == e:/
3.workon 不起作用時可以將py27下的scrapys下的 workon.bat mkvirtual.bat 匯入
mkvirtualenv --python=c:\python27\python.exe flask_test
2.安裝 scrapy
1.pip install -i scrapy
3.建立乙個scrapy scrapy startproject articlespider
4.模板建立 scrapy genspider jobbole blog.jobbole.com
5.pip install -i / pypiwin32
3.除錯命令
1.scrapy shell
4.爬取拉鉤網
1.scrapy genspider --list
2.scrapy genspider -t crawl lagou www.lagou.com
5.安裝django
pip install -i / django
爬蟲第一章
爬蟲基礎 什麼是爬蟲?爬蟲是通過程式模擬瀏覽器上網,從網上獲取資料的過程.爬蟲的分類 通用爬蟲 爬取一整個頁面的資料.聚焦爬蟲 爬取頁面中指定的區域性資料 增量式爬蟲 檢測 中資料更新的情況,爬取的是 中最新更新出來的資料.什麼是反爬機制?製作時設定的一系列阻止爬蟲程式進行的阻礙,就是反爬機制,反爬...
第一章 初識爬蟲
1 爬蟲的定義 可以自動抓取全球資訊網上資訊的指令碼或程式。2 爬蟲可以解決的問題 1 解決冷啟動的問題。2 搜尋引擎的根基。做搜尋引擎，必須使用爬蟲。3 幫助機器學習建立知識圖譜。機器學習最終的是訓練集。訓練集可以靠爬蟲爬去。4 可以製作比較軟體。1 搜尋引擎定義 自動從網際網路蒐集資訊，經過一定...
JAVA SE第一章 常用DOS命令
序號作用 命令格式 例子注意 1切換碟符 碟符 d 2檢視該路徑下的所有目錄 dirdir 3進入下一級目錄 cd 目錄名 cd data1 cd命令只是進入當前碟符的下一級目錄，若需跨碟符，需加cd d d data1 返回上一級目錄 cd.cd.返回根碟符目錄 cd 4 在當前路徑下新建路徑 m...