spark給某一列字段進行加密

2021-09-28 23:11:34 字數 324 閱讀 3097

有一些資料存在一些敏感資料,需要進行一些特殊處理,比如身份證號,可以用hash演算法或者md5進行加密,我用的處理方式是將加密演算法自定義成udf函式,拿md5舉例子,直接上**

//加密演算法

def hashmd5(content: string): string =

//dataset:資料集 colname:要加密的欄位名稱 alias加密字段之後的列名

def columnwithmd5(dataset:dataset[row],colname:string,alias:string):dataset[row]=

pandas對某一列資料進行處理

今天遇到乙個問題,小記錄一下處理過程,現在要將乙個pandas變數的某個字段進行轉換。定義處理方法,至少要有乙個入參,然後有返回內容 此處示例是通過判斷乙個字串裡面是否含有某個字,然後轉換為1或0 def processmethod d str int print d if d.find somet...

C DataTable 某一列求和

c datatable 某一列求和 1.列為數字型別double total convert.todouble datatable.compute sum 需要求和的引數 2.列為string 型別 先轉為數字型別 再求和 遇到是採用了這個方法 會報錯,加using system.linq 命名空間...

MySQL 某一列累加

形如這樣的 利用變數 sumsalary sumsalary salary,進行累加,但是別忘記初始化變數 select sumsalary 0 來個例項,某客網的mysql題目 60 按照salary的累計和running total,其中running total為前n個當前 to date 9...