很多人都知道
大資料很火,就業很好,薪資很高,想往大資料方向發展。但該學哪些技術,學習路線是什麼樣的呢?用不用參加大資料培訓呢?如果自己很迷茫,為了這些原因想往大資料方向發展,也可以,那麼大講台老師就想問一下,你的專業是什麼,對於計算機/軟體,你的興趣是什麼?是計算機專業,對作業系統、硬體、網路、伺服器感興趣?是軟體專業,對軟體開發、程式設計、寫**感興趣?還是數學、統計學專業,對資料和數字特別感興趣。
其實這就是想告訴你的大資料的三個發展方向,平台搭建/優化/運維/監控、大資料開發/設計/架構、
資料分析
/挖掘。請不要問我哪個容易,哪個前景好,哪個錢多。
先說一下大資料的4v特徵:
資料量大,tb->pb
商業價值高,但是這種價值需要在海量資料之上,通過資料分析與機器學習更快速的挖掘出來;
處理時效性高,海量資料的處理需求不再侷限在離線計算當中。
現如今,正式為了應對大資料的這幾個特點,開源的大資料框架越來越多,越來越強,再列舉一些常見的:
檔案儲存:
hadoop
hdfs、tachyon、kfs
離線計算:hadoop mapreduce、spark
流式、實時計算:storm、spark streaming、s4、heron
k-v、nosql資料庫:hbase、redis、mongodb
資源管理:yarn、mesos
日誌收集:flume、scribe、logstash、kibana
訊息系統:kafka、stormmq、zeromq、rabbitmq
查詢分析:hive、impala、pig、presto、phoenix、sparksql、drill、flink、kylin、druid
分布式協調服務:zookeeper
集群管理與監控:ambari、ganglia、nagios、cloudera manager
資料探勘
、機器學習:mahout、spark mllib
資料同步:sqoop
任務排程:oozie ……
眼花了吧,上面的有30多種吧,別說精通了,全部都會使用的,估計也沒幾個
,想要更多了解的,搜尋大資料。。。。
初學者怎樣學習程式設計
培訓是坑,請勿進入 學習程式設計的心態 自信入門,苦學成精。學習程式設計的思路 按部就班,精益求精,思考周全 解釋 自信入門 很多人都認為程式設計很難。程式設計跟英語一樣,都是有語法和教程。對於語法的學習,最有效的途徑就是學官網以及官網的例子。遇到外國的 可以使用翻譯工具。多敲敲 多觀察 的作用,就...
初學者應該怎樣學習 Linq to SQL 框架
雖然說現在有了 ado.net entity framework,不過真正在企業開發中用的比較多的還是 linq to sql.而且,對於固定在 sql server 資料庫平台上的應用而言,這個框架還是非常好用的。對於想學習 linq to sql 的初學者,可以按照 畫的這張圖上列出的次序,由淺...
初學者談初學者學html
這是乙個段落。解釋一下就是 html 與 html 之間的文字是描述網頁。head 與 head 之間的文字是文件的元資料。title 與 之間的文字是文件的標題。body 與 body 之間的文字是可見的頁面內容,是文章的主體部分。h1 與 h1 之間的文字被顯示為乙個大標題。p 與 p 之間的文...