R語言爬蟲 RCurl和XML學習筆記

2021-07-26 20:58:54 字數 1459 閱讀 3501

首先，提到r語言爬蟲，不得不提到兩大利器rcurl和xml包，通過這兩個包會發現爬蟲怎麼那麼容易 哈，本文不會講原理亂七八糟的，而是最實用的的函式和方法，你只需要會r最基本的操作，就能閱讀本文的內容。

首先安裝這兩個函式包並載入

install.packages("rcurl")


install.packages("xml")


library(rcurl)


library(xml)


url


web
接下來要對爬取得網頁進行處理，生成標準的html樹形結構，方便利用xml裡面的函式進行處理

doc
接下來就是最重點的部分了，節點定位，此時建議去你需要讀取的網頁，瀏覽器右鍵讀取源**，找到我們需要的資源所在的標籤如下。

阿爸~阿媽~快把小蝴蝶帶回家啊~
定位到原始碼裡面我們需要的那部分，如上，包含了網頁我們需要的的url，我們的目的就是把它提取出來，網頁每乙個標籤都是以開始，以作為結尾的，而我

們想提取，首先定位到標籤

div[@class='post__content js-content-img-wrap js-fullimg js-maincontent mb20']/img
如果想提取標籤裡面的文字使用text()

div[@class='post__content js-content-img-wrap js-fullimg js-maincontent mb20']/text()
定位到標籤裡面的

node
在此加上常用的函式，提取資料會變得異常容易

xmlname() ：節點的名字


xmlsize() ：字節點的個數


xmlattrs() ：命名所有屬性的特徵向量


xmlgetattr(name)：獲得屬性name的值


xmlvalue()：提取屬性所對應的值


xmlparent()：葉節點的內容


xmlancestors()：父節點的名字


getsibling()：向左向右的姐弟間的值


x


for(inf in info),error=function(e)


)}
 
R 語言爬蟲 rvest 包實戰鏈家爬蟲
rvest包簡介 rvest包是hadley wickham大神開發的乙個專門用於網路資料抓取的r語言包，目前的發行版本為0.3.2，關於rvest包的描述以及用法可參考rvest幫助文件，花上一點時間閱讀幫助文件，相信你就可以寫出自己的爬蟲了。help package rvest rvest幫助文...


乙隻R語言de爬蟲
該爬蟲爬取得是某地新聞內容 pa1 用於找到href鏈結 pa2 用於根據鏈結找到新聞內容 pa3 用於儲存進資料庫 嘿嘿 爬蟲pa1 library xml 引入xml包 givehref function rootnode givenames function rootnode getpage ...


跟我學xml和XSL
5070 3010 乙班 2030 4050 丙班 7040 2010 我們採用xsl模板結合今天所學的，為其編寫乙個xsl文件，要求季度產量小於等於20的用紅色表示，檔名為report.xsl，內容如下 1999年生產統計 班組 一季度 二季度 三季度 四季度 color red 說明 q1 q2...