R語言 缺失值判斷以及處理

2021-09-13 19:16:08 字數 4725 閱讀 6274

#####缺失值判斷以及處理#####


#舉例1：向量型別判斷缺失值is.na和缺失值的填補which


(x<-c(1,2,3,na))


is.na(x) #返回乙個邏輯向量，true為缺失值，false為非缺失值


table(is.na(x)) #統計分類個數


sum(x) #當向量存在缺失值的時候統計結果也是缺失值


sum(x,na.rm = true) #很多函式裡都有na.rm=true引數，此引數可以在運算時移除缺失值


(x[which(is.na(x))]<-0) #可以用which()函式代替缺失值，which()函式返回符合條件的響應位置


#舉例2：資料框型別判斷缺失值is.na、缺失值的填補which、缺失值所在行的刪除na.omit


(test<-data.frame(x=c(1,2,3,4,na),y=c(6,7,na,8,9)))


is.na(test) #test中空值的判斷


which(is.na(test),arr.ind = t) #arr.ind=t可以返回缺失值的相應行列座標


test[which(is.na(test),arr.ind = t)]<-0 #結合which進行缺失替代


(test_omit<-na.omit(data.frame(x=c(1,2,3,4,na),y=c(6,7,na,8,9)))) #na.omit函式可以直接刪除值所在的行


#舉例3：識別缺失值的基本語法彙總


str(airquality)


complete.cases(airquality) #判斷個案是否有缺失值


airquality[complete.cases(airquality),] #列出沒有缺失值的行


nrow(airquality[complete.cases(airquality),]) #計算沒有缺失值的樣本量


airquality[!complete.cases(airquality),] #列出有缺失的值的行


nrow(airquality[!complete.cases(airquality),]) #計算有缺失值的樣本量


is.na(airquality$ozone) #true為缺失值，false為非缺失值


table(is.na(airquality$ozone))


complete.cases(airquality$ozone) #false為缺失值，true為非缺失值


table(complete.cases(airquality$ozone))


#可用sum()和mean()函式來獲取關於缺失資料的有用資訊


sum(is.na(airquality$ozone)) #檢視缺失值的個數


sum(complete.cases(airquality$ozone)) #檢視沒有缺失值的個數


mean(is.na(airquality$ozone)) #檢視缺失值的佔比


mean(is.na(airquality)) #檢視資料集airquality中樣本有缺失值的佔比


#舉例4：探索缺失值模式


#列表缺失值探索


library(mice)


md.pattern(airquality)


#圖形缺失值探索


library(vim)


aggr(airquality,prop=false,number=true)


aggr(airquality,prop=true,number=true) #生成相同的圖形，但用比例代替了計數


aggr(airquality,prop=false,number=false) #選項numbers = false（預設）刪去數值型標籤


#舉例5：刪除缺失值


airquality[complete.cases(airquality),] #方法一：刪除缺失值行


na.omit(airquality) #方法二：刪除缺失值的行


#舉例6：缺失值回歸模型插補


newnhanes2<-nhanes2


sub<-which(is.na(newnhanes2[,4])) #返回newnhanes2資料集中第4列na的行標識


datatr<-newnhanes2[-sub,] #方法一：將第4列不為na的數存入資料集datatr中


datatr<-newnhanes2[complete.cases(newnhanes2[,4]),] #方法二：將第4列不為na的數存入資料集datatr中


datate<-newnhanes2[sub,] #方法一：將第4列為na的數存入資料集datate中


datate<-newnhanes2[is.na(newnhanes2[,4]),] #方法二：將第4列為na的數存入資料集datate中


fit<-lm(chl~age,data = datatr) #利用datatr中age為自變數，chl為因變數構建線性回歸模型lm


newnhanes2[sub,4]<-round(predict(fit,datate)) #利用datate中資料按照模型fit對nhanes2中chl中的缺失資料進行**


#舉例7：缺失值隨機森林插補


library(missforest)


z<-missforest(airquality) #用隨機森林迭代彌補缺失值


air.full<-z$ximp


zz<-missforest(nhanes2)


nhanes2.full<-zz$ximp


#舉例8：線性回歸模型插補


mice::md.pattern(airquality)


index1<-is.na(airquality$ozone) #對ozone變數進行缺失值處理


dput(colnames(airquality)) #求出變數列名稱


ozone_train<-airquality[!index1,c("ozone", "wind", "temp", "month", "day")] #訓練集，需注意什麼時候用!,什麼時候用-


ozone_test<-airquality[index1,c("ozone", "wind", "temp", "month", "day")] #測試集


fit<-lm(ozone~.,data = ozone_train) #建立線性回歸模型


summary(fit)


airquality[index1,"ozone"]<-predict(fit,newdata =ozone_test )


index2<-is.na(airquality$solar.r) #solar.r變數進行缺失值處理,ozone變數資料已補齊


solar.r_train<-airquality[!index2,] #訓練集


solar.r_test<-airquality[index2,] #測試集


solar.r_fit<-lm(solar.r~.,data = solar.r_train)


summary(solar.r_fit)


airquality[index2,"solar.r"]<-predict(solar.r_fit,newdata = solar.r_test)


mice::md.pattern(airquality)


#knn和bag缺失值插補(利用caret包中的preprocess函式，method引數有多種方式可選)


question<-read.csv("問卷調研資料.csv")


question<-question[,-1]


str(question)


for(i in 1:ncol(question)) #批量修改為因子型別


str(question)


#舉例9：利用knn演算法進行缺失值插補(只能對數值型變數處理)


question<-read.csv("問卷調研資料.csv")


question<-question[,-1]


mice::md.pattern(question) #列表缺失值探索


library(caret)


knn.model<-preprocess(question,method = "knnimpute") #knn處理數值型資料(歐式距離),不能處理因子型資料


question1<-predict(knn.model,newdata = question)


install.packages("rann")


mice::md.pattern(question1)


table(question1$性別) #不是之前的1和2了


table(question$性別)


#最後結果：knn不適合處理該資料，需要做啞變數處理，再套模型


#舉例10：利用袋裝演算法進行缺失值插補(只能對數值型變數處理)


question<-read.csv("問卷調研資料.csv")


question<-question[,-1] 


mice::md.pattern(question) #列表缺失值探索


library(caret)


bag.model<-preprocess(question,method = "bagimpute") #bag演算法模型建立


install.packages("ipred")


question2<-predict(bag.model,question) #**結果


mice::md.pattern(question2) #列表缺失值探索


table(question2$性別)


#最後結果：bag演算法不適合處理該資料

R語言處理缺失值

在處理資料過程中，避免不了會產生一些缺失值，如未填寫資料或者編碼錯誤等原因，用na表示缺失值。在r語言中，is.na 函式可以判斷元素是否是缺失值，從而返回邏輯值 true false 所以該函式將會返回和元資料集一樣大小的資料集。在判斷缺失值的過程中，需要注意以下兩點 既然缺失值可能無處不在，那麼...

R語言矩陣 缺失值處理

缺失值處理一般包括三步 1.識別缺失資料 2.檢查導致資料缺失的原因 3.刪除包含缺失值的例項或用合理的數值代替 插補 缺失值。x is.na x 1 true is.nan x 1 false is.infinite x 1 false 函式complete.cases 可用來識別矩陣或資料框中沒...

R 缺失值處理

假設有一組資料集如下 data data.frame y c 1,2,3,na,5,6 x1 c 6,na,4,3,2,1 x2 c 1,3,6,9,12,na na 即表示缺失值。在r中輸入該資料。判斷缺失資料 is.na data 統計缺失值個數 sum is.na data 檢視每個樣本資料是...