三行命令解決spark詞頻統計

2021-09-22 08:32:29 字數 438 閱讀 3143

如何通過三行命令解決詞頻統計問題

1、使用textfile載入文字

2、使用flatmap()生成以單詞為鍵,數字1為值的rdd

3、使用reducebykey()對所有單詞進行過統計

原文件如下

命令如下

val input=sc.textfile("file:///media/hadoop/ubuntu/word.txt")

val words=input.flatmap(x=>x.split(" "))

val result=words.map(x=>(x,1)).reducebykey(_+_).foreach(println)

三行命令解決linux系統下U盤唯讀檔案問題

ubuntu插入u盤後,u盤變為唯讀檔案系統,無法執行新建 複製等操作 1.問題 專案工作中使用linux系統時,插入u盤後發現不能對u盤進行操作。提示許可權不足或者是唯讀檔案系統。使用如下的步驟命令教你解決u盤唯讀檔案系統的問題。2.解決方案 1.插入u盤後並用df h檢視u盤資訊 命令 df h...

聖杯布局(三行三列布局)

布局效果類似聖杯,所以叫聖杯布局。就是三行三列布局 核心 主要就是實現中間主體部分中的左右定寬 中間自適應的布局效果 左右定寬 left,right left center right class left div class right div class center div 改變順序,需要把c...

DIV CSS三行兩列經典布局

師阿捷2004年發布在 網頁設計師 上的,乙個非常經典的布局,在ie mozilla和opera瀏覽器中均可以實現居中和高度自適應。完整 如下 在阿捷的 基礎上作了部分修改 title seo參考 xhtml之經典三行兩列布局 title style type text css body heade...