使用php的curl爬取登陸後的資訊

2021-07-09 14:43:07 字數 984 閱讀 2222

<?php

//1:curl初始化

$ch = curl_init();

//2:設定post資料

$data = array (

'post_xuehao' => '13110572068'

);//3:設定請求的url

curl_setopt($ch, curlopt_url, "");

//4:設定請求的引數

curl_setopt ( $ch, curlopt_post, 1 );

curl_setopt ( $ch, curlopt_header, 0 );

curl_setopt ( $ch, curlopt_returntransfer, 1 );

curl_setopt ( $ch, curlopt_postfields, $data );

//儲存到檔案,以注釋

// $fop=fopen("test.html", "wr");

// if(!$fop)

// curl_setopt($ch, curlopt_file,$fop);

//5:執行url,返回結果

$re=curl_exec($ch);

//6:列印到瀏覽器

echo $re;

//關閉curl

curl_close($ch);

// fclose($fop);

?>

因為在近期的開發當中,經常的需要使用爬蟲技術用來爬取**的資訊,這裡,因為不想過多的再去學習一門新的語言,就使用已經掌握的php作為後台爬取指令碼,聽說python蠻不錯的,但是,那只是聽說,反正我用過是不怎麼爽的,但是,無論什麼言語,起根本的原理是相同的,這裡使用curl工具進行爬取,特別注意的是,一定要開啟php的curl擴充套件,否則無法使用,我記得在php5.4.3版本,有個無法解決的bug,就是無法使用curl,在linux上面,現在相關的擴充套件就可以使用了。下面是具體的例項**:

curl登陸後模擬登陸並訪問登陸後的頁面

header content type textml charset utf 8 採集的資訊需要先登入的就要先模擬登入 設定cookie儲存路徑 cookie path ch curl init 組裝使用者名稱和密碼 info username 141391000914 info password ...

模擬登陸並爬取Github

因為崔前輩給出的 執行有誤,略作修改和簡化了。書上例題,不做介紹。import requests from lxml import etree class login object def init self self.headers 登陸位址 self.login url post請求位址 sel...

php通過curl模擬登陸DZ論壇

libcurl同時也支援https認證 http post ht put ftp 上傳 這個也能通過php的ftp擴充套件完成 http 基於表單的上傳 cookies和使用者名稱 密碼的認證。login url discuz url login.php?action login 登入頁位址 pos...