Linux命令之wget 抓取整站

2021-08-19 22:54:54 字數 544 閱讀 8182

wget -r -p -np -k

-r  遞迴

-p, --page-requisites(頁面必需元素)

-np, --no-parent(不追溯至父級)

找了幾個wget技巧,發一下。

$ wget -r -np -nd packages/

的作用是不遍歷父目錄,-nd 表示不在本機重新建立目錄結構。

$ wget -r -np -nd --accept=iso

目錄中所有擴充套件名為 iso 的檔案。你也可以指定多個副檔名,只需用逗號分隔即可。

$ wget -i filename.txt

$ wget -c really-big-file.iso

這裡所指定的 -c 選項的作用為斷點續傳。

$ wget -m -k (-h)

那麼可以使用 -h 選項

也可以使用其他抓取工具如 webzip 、httrack website copier、 teleport pro

Linux命令之wget 抓取整站

wget r p np k r 遞迴 p,page requisites 頁面必需元素 np,no parent 不追溯至父級 找了幾個wget技巧,發一下。wget r np nd packages 的作用是不遍歷父目錄,nd 表示不在本機重新建立目錄結構。wget r np nd accept ...

linux命令專欄(二)之wget

常用用法 wget 選項 url p 儲存檔案之前先建立指定名稱的目錄。t 嘗試連線次數,當wget無法與伺服器建立連線時,嘗試連線多少次。例如 使用該命令爬取需要的靜態網頁 wget r p np k nc c 1 首先檢查有沒有安裝wget yum list installed grep i w...

Linux 命令篇 之 wget(1)

很簡單的一條命令,就wget加位址 挺漂亮的 在 etc wgettrc檔案和甲目錄下的.wgettrc檔案,看看裡面的配置檔案,搞清楚是搞什麼的先 也可以是wget x a,b robots協議 也稱為爬蟲協議 機械人協議等 的全稱是 網路爬蟲排除標準 robots exclusion proto...