跟我一起學 Hadoop 之 經典場景分析

2021-09-24 03:57:37 字數 657 閱讀 8323

hive分割槽表陷阱(不load資料到hive,而是put資料到hdfs分割槽目錄下,hive查不到資料)

解決方法(msck repair table table_name;):

答案:分割槽表是hdfs上以資料夾的形式存在,為了提高查詢效率。

答案:crontab -e或者hue提交

sqoop增量匯入並按時間分割槽:

答案:需求描述:統計日誌檔案中本週末網購停留總時間超過2個小時的女性網民資訊;

需求描述:實時統計連續網購時間超過半個小時的女性網民資訊

①spark streaming write to print

②spark streaming write to kafka

需求描述:

框架:常用包:bokeh、jupyter notebook、keras、matplotlib、numpy、pandas、scikit=learn、scipy、seaborn

hbase的應用場景1:

hbase的應用場景2:

hbase rowkey及建表方式設計:

答案:答案:

強烈推薦博主:

答案:倒排索引 

簡介:詳細:

答案:sqoop增量 

參考:《離線和實時大資料開發實戰》

答案:答案:

答案:

跟我一起學攝影

咦 好巧!我也是攝影愛好者。咱們一起學習吧。或許你也有這樣的體驗,並茂的文章更能讓人快速進入學習狀態,更何況是攝影,必須有圖。下面是我彙總的資料,必須深入淺出,拒絕一切晦澀難懂。學習課本 1.佳能官網 能系統學習攝影知識,從入門 初級 中級 高階 高階。每個頁面講解乙個知識點,結合實際的拍攝效果,深...

跟我一起學python 跟我一起學人工智慧(一)

跟我一起學人工智慧 一 文 小步 系列第一講正式開課啦,課程全都是可以實操的乾貨,到後面ai演算法 python 可以結合做出乙個簡單的人工智慧應用 因本人也對ai領域涉足不久,如文章有不妥之處還請各位大神與我多多交流,此系列文章也屬於我學習ai過程中的總結,我也會做到盡量寫出只要是高中畢業就能看懂...

跟我一起學OpenGL texture 紋理

前面學習了畫普通的圖形,但是顏色比較單一,有什麼好的方法讓圖形顏色更加豐富,更加真實呢?texture 中文譯為紋理 就可以扮演這一角色,本節則簡單說明texture的使用。執行下面的程式,便可出現乙個黑白相間的棋盤 1 include 2 include 3 include 4 using nam...