如何理解Hadoop與大資料之間的關係

2021-10-18 04:22:14 字數 805 閱讀 4075

首先,大資料本身涉及到乙個龐大的技術體系,從學科的角度來看,涉及到數學、統計學和計算機三大學科,同時還涉及到社會學、經濟學、醫學等學科,所以大資料本身的知識量還是非常大的。

從當前大資料領域的產業鏈來看,大資料領域涉及到資料採集、資料儲存、資料分析和資料應用等環節,不同的環節需要採用不同的技術,但是這些環節往往都要依賴於大資料平台,而hadoop則是當前比較流行的大資料平台之一。

hadoop平台經過多年的發展已經形成了乙個比較完善的生態體系,而且由於hadoop平台是開源的,所以很多商用的大資料平台也是基於hadoop搭建的,所以對於初學大資料的技術人員來說,從hadoop開始學起是不錯的選擇。

當前hadoop平台的功能正在不斷得到完善,不僅涉及到資料儲存,同時也涉及到資料分析和資料應用,所以對於當前大資料應用開發人員來說,整體的知識結構往往都是圍繞大資料平台來組織的。隨著大資料平台逐漸開始落地到傳統行業領域,大資料技術人員對於大資料平台的依賴程度會越來越高。

當前從事大資料開發的崗位可以分為兩大類,一類是大資料平台開發,這一類崗位往往是研發級崗位,不僅崗位附加值比較高,未來的發展空間也比較大,但是大資料平台開發對於從業者的要求比較高,當前有不少研究生在畢業後會從事大資料平台開發崗位。

另一類是大資料應用開發崗位,這類崗位的工作任務就是基於大資料平台(hadoop等)來進行行業應用開發,在工業網際網路時代,大資料應用開發崗位的數量還是比較多的,而且大資料應用開發崗位對於從業者的要求也相對比較低。

我從事網際網路行業多年,目前也在帶計算機專業的研究生,主要的研究方向集中在大資料和人工智慧領域,我會陸續寫一些關於網際網路技術方面的文章,感興趣的朋友可以關注我,相信一定會有所收穫。

如何理解Hadoop與大資料之間的關係

首先,大資料本身涉及到乙個龐大的技術體系,從學科的角度來看,涉及到數學 統計學和計算機三大學科,同時還涉及到社會學 經濟學 醫學等學科,所以大資料本身的知識量還是非常大的。從當前大資料領域的產業鏈來看,大資料領域涉及到資料採集 資料儲存 資料分析和資料應用等環節,不同的環節需要採用不同的技術,但是這...

如何理解Hadoop與大資料之間的關係

首先,大資料本身涉及到乙個龐大的技術體系,從學科的角度來看,涉及到數學 統計學和計算機三大學科,同時還涉及到社會學 經濟學 醫學等學科,所以大資料本身的知識量還是非常大的。從當前大資料領域的產業鏈來看,大資料領域涉及到資料採集 資料儲存 資料分析和資料應用等環節,不同的環節需要採用不同的技術,但是這...

大資料Hadoop的整體理解

大資料一直是在討論兩個問題 資料儲存與資料計算。如何將得到的資料儲存起來與如何對得到的資料進行計算輸出結果 以前實現大資料的做法 存貯 我們首先需要乙個資料來源,可以是日誌也可以是資料庫等等。然後我們對資料進行抽取 轉化 載入三個過程,將得到的資料存貯在資料庫中。計算 那麼接下來,我們可以使用jdb...