php抓取網頁

2021-06-22 11:18:42 字數 1456 閱讀 3666

用php抓取頁面的內容在實際的開發當中是非常有用的,如作乙個簡單的內容採集器,提取網頁中的部分內容等等,抓取到的內容在通過正規表示式做一下過濾就得到了你想要的內容,

以下就是幾種常用的用php抓取網頁中的內容的方法。

1.file_get_contents 

php**

<?php     

$url = "";  

$contents = file_get_contents($url);  

//如果出現中文亂碼使用下面**  

//$getcontent = iconv("gb2312", "utf-8",$contents);   

echo $contents;  

?>   

2.curl 

php**

<?php     

$url = "";  

$ch = curl_init();  

$timeout = 5;  

curl_setopt($ch, curlopt_url, $url);  

curl_setopt($ch, curlopt_returntransfer, 1);  

curl_setopt($ch, curlopt_connecttimeout, $timeout);  

//在需要使用者檢測的網頁裡需要增加下面兩行  

?>  注:

1.使用file_get_contents和fopen必須空間開啟allow_url_fopen。方法:編輯php.ini,設定allow_url_fopen = on,allow_url_fopen關閉時fopen和file_get_contents都不能開啟遠端檔案。

2.使用curl必須空間開啟curl。方法:windows下修改php.ini,將extension=php_curl.dll前面的分號去掉,而且需要拷貝ssleay32.dll和libeay32.dll到c:\windows\system32下;linux下要安裝curl擴充套件。

php 抓取網頁資訊

最近要抓取網頁資料,就用php試了下,發現了乙個不錯的php抓取資料的整合類 html dom.php,而根據網頁的特點大致分為兩類,一類是網頁dom結構相同,url類似只是改了部分引數,這個 直接用 html file get html url 然後根據網頁dom用 html find plain...

PHP抓取網頁和分析

thursday,29.june 2006,06 41 03 php程式設計 譯者 limodou 抓取和分析乙個檔案是非常簡單的事。這個教程將通過乙個例子帶領你一步一步地去實現它。讓我們開 始吧!首先,我首必須決定我們將抓取的url位址。可以通過在指令碼中設定或通過 query string傳遞。...

PHP抓取網頁執行JS phantomjs

php抓取網頁,網頁內容是通過js載入的,這時需要執行js來載入內容。需要用到phantomjs。下面是windows的安裝方法。1.安裝phantomjs 把e software phantomjs 2.1.1 windows bin新增到環境變數 安裝完成 2.php phantomjs安裝 需...