聯邦學習學習心得(3) 聯邦學習FATE框架入門

2021-10-09 10:00:46 字數 1058 閱讀 9551

首先我們從github上轉殖fate倉庫。

最近新學會的乙個方法,大大提公升轉殖的速度,親測有效。

安裝過程請參考倉庫中的readme文件,本人是在linux16.04上按照native中的單機部署,通過docker-compose進行部署的,推薦大家也按照這種方式。os推薦linux16.04,或者centos7,具體步驟其他部落格裡面有,可移步參考,特別要注意的是各個軟體的版本最好按照教程裡面的進行安裝,我之前沒注意版本問題,導致一直有各種各樣的小問題。

安裝完成重新開機之後,遇到乙個問題,模型可以訓練,但是fate board連線不上,看不到訓練情況,找了很久原因原來是映象沒有關機後重啟,手動重啟之後即可,怪自己沒用過docker、、、

docker ps -a           #檢視所有的docker映象

docker restart ***x #重啟對應的映象

以上為fate現在以及實現的功能元件。

第一行指的是支援的資料輸入的格式,有稠密格式和稀疏格式,稀疏格式又可分為數值和標籤。對資料格式不清楚的可以看這裡

第二行指的是縱向聯邦統計,包括交集(樣本對齊)、並集和皮爾遜相關係數。

特徵工程包括取樣、分箱、選擇、規範化、one-hot編碼。

接下裡兩行是目前實現的模型元件,包括回歸、神經網路、遷移學習、樹模型等。

下面一行表示評價指標,其中local comparison表示聯邦學習和本地學習之間的比較。

最後是多方安全計算(mpc),列出了fate用的幾種加密手段。

本篇心得就從巨集觀上簡單介紹了fate的框架,下篇打算介紹乙個轉殖下來的fate倉庫。

聯邦學習學習心得(1) 聯邦學習簡介

國際社會上對資訊保安 個人隱私的問題越來越重視,各種相關的法案相繼頒布,對私人資料的管理 監督 保護更加全面化 嚴格化 密集化。各個公司對各自的資料也越來越重視,作為資產不可能拿出來分享,這就造成了資料孤島的現象。同時與傳統的機器學習 machine learning 和深度學習 deep lear...

聯邦學習 聯邦學習

文章內容主要來自文末網盤內部分資料 最近微眾舉辦了乙個面向高校大學生的ai比賽,題目如下 基於微眾提出的聯邦學習模型,設計一款有應用場景的產品。資料來源之間存在著難以打破的壁壘,一般情況下人工智慧的所需要的資料會涉及多 個領域,例如在基於人工智慧的產品推薦服務中,產品銷售方擁有產品的資料 使用者購買...

聯邦學習簡介

對聯邦學習做個簡單的記錄 聯邦學習定義 定義n個資料所有者,他們所有人都希望通過合併各自的資料來訓練機器學習模型。一種常規方法是將所有資料放在一起,並使用d d1 u d2 u dn來訓練模型msum。聯邦學習是一種學習過程,其中資料所有者共同訓練乙個模型mfed,在該過程中,任何資料所有者fi都不...