基於MapReduce的關係代數運算 1

2022-04-10 10:57:12 字數 598 閱讀 5927

1、選擇運算

map函式:對r中的每個元組t,檢測它是否滿足條件c,如果滿足,則產生乙個鍵值對(t,t)

reduce函式:直接將每個鍵值對傳遞到輸出即可

2、投影運算

map函式:對r中的每個元組t,剔除t中屬性不在s中的字段得到元組t',輸出鍵值對(t',t')

reduce函式:對任意map任務產生的每個鍵t',將存在乙個或多個鍵值對(t',t'),reduce函式將(t',[t',t'...t'])轉換成(t',t'),以保證鍵t'只產生乙個(t',t')對

3、並運算

map函式:對r中的每個元組t產生乙個鍵值對(t,t)

reduce函式:和每個鍵t關聯的可能有乙個或兩個值,兩種情況下都輸出(t,t)

4、交運算

map函式:對r中的每個元組t產生乙個鍵值對(t,t)

reduce函式:如果鍵值t的值表為[t,t],則輸出(t,t),否則輸出(t,null)

5、差運算 r-s

map函式:對r中的每個元組t產生乙個鍵值對(t,r)對s中的每個元組t產生乙個鍵值對(t,s)

reduce函式:如果鍵值t的值表為[r],則輸出(t,t),否則輸出(t,null)

基於MapReduce的關係代數運算 2

1 自然連線 map函式 對於r中的每個元組 a,b 生成鍵值對 b,r,a 對於s中的每個元組 b,c 生成鍵值對 b,s,c 即與b關聯的元組列表由來自r和s中的具有共同b值的元組組合而成 2 分組和聚合運算 map函式 對每個元組 a,b,c 生成鍵值對 a,b reduce函式 每個鍵a代表...

基於Map Reduce的相似度計算

基於map reduce的相似度計算 不久前 6.29 參加了chinahadoop的夏季沙龍,聽了人人的大牛講了基於map reduce的相似度計算的優化,感覺對map reduce程式設計模型的理解又進一步加深了,在這裡把該演算法總結成博文,以期能夠更加透徹的理解該演算法。相似度的計算在文字的分...

基於MapReduce的矩陣乘法運算

1 採用兩個mapreduce運算串聯來實現 p ik mij njk 第一步 map函式 將每個矩陣運算mij傳給鍵值對 j,m,i,m ij 將每個矩陣元素njk傳給鍵值對 j,n,k,n jk reduce函式 對每個鍵j,檢查與之關聯的值的列表。對每個來自m的值 m,i,m ij 和來自n的...