根據企業的需求，業務資料儲存在 mysql 中，選擇 sqoop 作為 etl 工具，hdfs 臨時儲存 sqoop 抽取的資料。資料倉儲部分選擇主流的 hive，並使用 tez 進行優化；其中 ads 層的資料會匯出到 mysql 中，便於前端業務進行快速呼叫。使用 presto 作為快速查詢的工具，azkaban 作為排程工具。
資料的生成會使用指令碼來進行；整個 etl 流程、數倉資料處理，也會封裝為執行指令碼，交由 azkaban 來進行定時執行和排程。
作業系統及元件版本
各元件版本如下，學習環境盡量保持一致，避免版本不一致帶來的操作問題。
集群規劃
使用 3 臺虛擬機器來進行搭建集群，分別為 node01、node02、node03。集群的規劃如下：
其中 hadoop 一共 3 個節點，主節點搭建在 node01 上，從節點在 node01-node03 上分別有乙個。
hive&tez 搭建在 node03 上，單節點部署。mysql 搭建在 node02 上。sqoop 搭建在 node03 上。
azkaban 作為排程引擎，在 3 臺節點上各布置乙個，以 node02 作為主節點。presto 同樣在 3 臺節點上布置，以 node02 作為主節點。
這樣基本上每台伺服器的負載比較均衡。
架構設計 需求分析 實戰
本文是溫昱先生著 軟體架構設計 中的乙個小節.感覺很好.所以手打出來,供各位賞讀.需求分析是軟體專案過程中間的乙個環節,上游活動是確定專案願景。下游活動是軟體開發或者是採購 這一句是個人理解 10.4 pm tool 實戰 需求分析 10.4.1 上游活動 確定專案願景 乙個專案要被開發 要拔款立項...
架構設計 需求分析 實戰
本文是溫昱先生著 軟體架構設計 中的乙個小節.感覺很好.所以手打出來,供各位賞讀.需求分析是軟體專案過程中間的乙個環節,上游活動是確定專案願景。下游活動是軟體開發或者是採購 這一句是個人理解 10.4 pm tool 實戰 需求分析 10.4.1 上游活動 確定專案願景 乙個專案要被開發 要拔款立項...
架構實戰 軟體架構設計的過程
幾年前，我們 peter eeles和peter cripps 開始注意到grady booch首創的 軟體架構手冊 handbook of software architecture www.handbookofsoftwarearchitecture.com grady起初的目的是 整理許多有趣...