cleanlab實戰處理二之處理多分類任務標籤

2021-10-25 03:27:03 字數 947 閱讀 5139

想使用cleanlab 這個工具,找出資料中錯誤的人工標註的標籤。

普通的標籤任務有兩種:

from cleanlab.pruning import get_noise_indices

# 輸入

# s:雜訊標籤

# psx: n x m 的**概率概率,通過交叉驗證獲得

ordered_label_errors = get_noise_indices(

s=numpy_array_of_noisy_labels,

psx=numpy_array_of_predicted_probabilities,

sorted_index_method=

'normalized_margin'

,# orders label errors

)

針對之前對cleanlab的學習,分別調整好s,psx的值就可以作為引數傳入了。但是它們的格式該怎麼控制呢?

這裡以我做的乙個任務為例,介紹一下s,psx取值的情況。

有1000個樣本,153中標籤,每個樣本可以有多個標籤。

得到的結果中,如果是為true,則說明該人工標註的標籤可能存在問題。

可能在執行的過程**現如下問題:

cleanlab valueerror: operands could not be broadcast together with shapes (10,195),(2,)

這種問題的原因就是 標籤數對應不上導致出錯。上面的這個報錯(10,195),(2,)指的是你想做乙個10*195的分類,但實際存在的標籤只有2個,這個工作就無法進行下去所以報錯了。也就是的個數 > 的個數

修改的方法就是:只將人工標註的標籤的集合總數作為m值。

R語言之處理資料(二)

主要操作 將工作目錄 g 劉拴朋 msrdailyactivity3d msr daily activity 3d dataset 下的process 1 process 8資料夾中的檔案中,檔名中含有skeleton.txt的檔案提取到all file 1 all file 8中。程式如下 設定檔...

xnl 之 處理指令

xml 並不預先假設元素或者其內容的處理方法,這是xml的優勢之處。在實際開發過程中。經常需要把某些資訊通過文件傳遞給應用程式,處理指令 processing instruction,pi 正是xml為此目的提供的一種機制。target 指令所指向的應用的名稱,是必需的部分,而且必須是有效的xml名...

springboot vue之處理json 資料

處理方式,可以在後端配置,但是我這裡採用前端處理的方式。建立乙個前端工具檔案,裡面來處理請求和資料傳送 我這裡檔案 apj.js let base 定義字首 方便資訊更改 export const postkeyvaluerequest url,params 登陸請求介面 data params,傳...