大資料初學者怎樣學習?

2021-08-29 20:15:07 字數 1083 閱讀 9149

很多人都知道

大資料很火,就業很好,薪資很高,想往大資料方向發展。但該學哪些技術,學習路線是什麼樣的呢?用不用參加大資料培訓呢?如果自己很迷茫,為了這些原因想往大資料方向發展,也可以,那麼大講台老師就想問一下,你的專業是什麼,對於計算機/軟體,你的興趣是什麼?是計算機專業,對作業系統、硬體、網路、伺服器感興趣?是軟體專業,對軟體開發、程式設計、寫**感興趣?還是數學、統計學專業,對資料和數字特別感興趣。

其實這就是想告訴你的大資料的三個發展方向,平台搭建/優化/運維/監控、大資料開發/設計/架構、

資料分析

/挖掘。請不要問我哪個容易,哪個前景好,哪個錢多。

先說一下大資料的4v特徵:

資料量大,tb->pb

商業價值高,但是這種價值需要在海量資料之上,通過資料分析與機器學習更快速的挖掘出來;

處理時效性高,海量資料的處理需求不再侷限在離線計算當中。

現如今,正式為了應對大資料的這幾個特點,開源的大資料框架越來越多,越來越強,再列舉一些常見的:

檔案儲存:

hadoop

hdfs、tachyon、kfs

離線計算:hadoop mapreduce、spark

流式、實時計算:storm、spark streaming、s4、heron

k-v、nosql資料庫:hbase、redis、mongodb

資源管理:yarn、mesos

日誌收集:flume、scribe、logstash、kibana

訊息系統:kafka、stormmq、zeromq、rabbitmq

查詢分析:hive、impala、pig、presto、phoenix、sparksql、drill、flink、kylin、druid

分布式協調服務:zookeeper

集群管理與監控:ambari、ganglia、nagios、cloudera manager

資料探勘

、機器學習:mahout、spark mllib

資料同步:sqoop

任務排程:oozie ……

眼花了吧,上面的有30多種吧,別說精通了,全部都會使用的,估計也沒幾個

,想要更多了解的,搜尋大資料。。。。

初學者怎樣學習程式設計

培訓是坑,請勿進入 學習程式設計的心態 自信入門,苦學成精。學習程式設計的思路 按部就班,精益求精,思考周全 解釋 自信入門 很多人都認為程式設計很難。程式設計跟英語一樣,都是有語法和教程。對於語法的學習,最有效的途徑就是學官網以及官網的例子。遇到外國的 可以使用翻譯工具。多敲敲 多觀察 的作用,就...

初學者應該怎樣學習 Linq to SQL 框架

雖然說現在有了 ado.net entity framework,不過真正在企業開發中用的比較多的還是 linq to sql.而且,對於固定在 sql server 資料庫平台上的應用而言,這個框架還是非常好用的。對於想學習 linq to sql 的初學者,可以按照 畫的這張圖上列出的次序,由淺...

初學者談初學者學html

這是乙個段落。解釋一下就是 html 與 html 之間的文字是描述網頁。head 與 head 之間的文字是文件的元資料。title 與 之間的文字是文件的標題。body 與 body 之間的文字是可見的頁面內容,是文章的主體部分。h1 與 h1 之間的文字被顯示為乙個大標題。p 與 p 之間的文...