scrapy框架建立專案shell指令碼

# 建立scrapy專案shell指令碼

# 1. scrapy startproject 專案名(專案名如果不符合要求，scrapy本身會報異常，建立失敗，為了增加效率，提前正則驗證)
# 2. cd 專案名
# 3. scrapy genspider 爬蟲名 網域名稱 或 規則爬蟲：scrapy genspider -t crawl 爬蟲名 網域名稱
# 注意專案名必須以字母開頭，只能包含字母、數字、下劃線，爬蟲名和網域名稱沒要求，但是增加了爬蟲名的驗證
import os
import re
while true:
print("-------scrapy框架建立第一步-------")
while true:
projectname = input("請輸入字母開頭專案名：(字母、數字、下劃線)")
projectname = projectname.strip()
patt = re.compile(r'^[a-za-z]+[a-za-z0-9_]*$')
re_projectname = re.findall(patt, projectname)
if re_projectname:
break
else:
print("專案名輸入有誤，請重試！")
continue
# 成功建立返回0，否則返回1
s = os.system('scrapy startproject '+ projectname)
if s == 0:
# 進入到專案名
os.chdir(os.path.join(os.getcwd(), projectname))
while true:
print("-------scrapy框架建立第二步-------")
while true:
spidername = input("請輸入字母開頭爬蟲名(字母、數字、下劃線)：")
spidername = spidername.strip()
# patt = re.compile(r'[a-za-z0-9_]')
patt = re.compile(r'^[a-za-z]+[a-za-z0-9_]*$')
re_name = re.findall(patt,spidername)
if re_name:
break
else:
print("爬蟲名輸入有誤，請重試！")
continue
while true:
domainname = input("請輸入網域名稱：")
domainname = domainname.strip()
if domainname:
break
else:
print("網域名稱不能為空！")
continue
s = os.system("scrapy genspider " + spidername + " " + domainname)
print("scrapy genspider " + spidername + " " + domainname)
if s == 0:
break
else:
continue
print("專案[%s]建立完畢，目錄為：%s"%(projectname,os.getcwd()))
break
else:
continue
input("請按回車鍵退出！") # 生成可執行檔案需要

pyinstaller -f ***.py

爬蟲 建立scrapy框架的專案

進入命令管理器 通過命令scrapy startproject spider3 進入spider3專案中 執行scrapy genspider university qianmu.org scrapy genspider 爬蟲的名字name 爬蟲的網域名稱 通過pycharm軟體匯入此專案 scra...

Scrapy框架快速建立專案命令 框架的結構

scrapy在爬蟲開發領域是非常不錯的一款框架，如果要從事爬蟲開發那麼這款框架一定要非常熟悉，儘管在實際開發中可能用不上，但是其中的架構思想也能讓自己寫的爬蟲質量有不一般的提公升。scrapy框架應該掌握的幾條命令 cmd命令列介面執行 scrapy shell url 該條命令常用於scrapy開...

建立scrapy專案

1.windows r開啟 cmd命令列工具，cd desktop 進入到桌面目錄 2.輸入建立專案命令 scrapy startproject 專案名 3.cd 到 專案目錄下 cd專案名 4.執行建立爬蟲的命令 scrapy genspider 爬蟲名 爬蟲起始 5.使用pycharm開啟專案，...