超人學院二期學員分享hadoop工作經驗

2022-03-13 15:40:54 字數 1024 閱讀 2561

定於2月17日——2月23日的某一天,邀請咱們學員分享一下hadoop工作經驗。對於沒工作過的同學或者沒從事過hadoop工作的同學,抓住機會啊,你可以提前準備自己關心的各種問題!

你的未來或許因為這次聆聽而改變!

分享內容大綱原文如下:

超人學院二期學員

計算機專業研究生,即將畢業,在某大型網際網路公司實習70天

所做專案:hadoop環境下某業務報表研發(日誌拉取-預處理入hive-預聚合入mysql-前端報表展示)

1)公司報表系統現狀和報表研發組人員安排及工作分工現狀

公司目前的新舊報表系統現狀:

公司集群說明:

本組專案介紹、人員分工情況和工作內容說明:

2)以**業務報表研發流程為例漫談其流程、所涉及技術、團隊專案溝通方式和軟體

a、需求產生過程及遇到的問題和注意事項:

b、報表研發過程(資料處理流程):

<1>需求整理及確認、遇到的問題和需注意事項

<2>日誌拉取過程、所遇問題和需注意事項

<3>日誌預處理(清洗,入hive)過程、所遇問題以及需注意事項

<4>預聚合過程(指標形成過程)、所遇問題和需注意事項

c、其他

<1>整個流程的監控機制、任務排程機制、資料正確性保證機制

<2>專案溝通方式和專案管理軟體使用情況:

<3>所需掌握技能的個人總結

3)初入移動網際網路職場工作感悟

<1>職業是很嚴謹的,思想上先認真再認真對待,不論大小事;

<2>高效執行需求不可有拖延症;

<3>大小事都需過腦子,思路清晰透徹,切不可想當然,草率了事,踏踏實實將每一件事情辦紮實;

<4>專案溝通中需精煉準確描述問題,尤其注意不可省略問題的前後場景;面對提問,需直答問題,不可給出替代答案;

<5>形成規範的做事流程和做事方法可節約較多時間並有利於做對事情和個人能力提公升;

願大家都能正確評判自己所處位置並堅定好目標,然後不遺餘力的前行。

第二期題目

1.請寫乙個擴充套件string的類mystring,加入乙個println 方法,你覺得用繼承string類的方法呢,然後加乙個println 方法簡單?還是在mystring內部建立乙個string物件進行擴充套件?2.類a的預設建構函式中,有這麼一句,system.out.println a ...

聚合果二期CDM流程

1 cdm的流程 1 有cdm中的springmvc.xml中配置了 authcenterconfig class com.sowell.licenseclient.authcenterutil init method init casclient class com.sowell.auth.cas...

學習報告第二期

學習報告2020 7 30 學習報告 第二期 時間週期 7月1日 7月30日 姓名 專業 徐斌 電子資訊專碩 一.內容 1 基本掌握gpio的埠位配置和輸出模式位 2 通過跑馬燈庫函式實驗初步掌握1.使能io口時鐘 不同的io,呼叫的時鐘使能函式不一樣 2.初始化io口模式。呼叫gpio init函...