如何區分資料科學家,資料工程師與資料分析師

2021-07-13 21:17:42 字數 2639 閱讀 8091

2016-06-21 10:11

與其他一些相關工程職位一樣,資料科學家的影響力與網際網路同進同退。資料工程師和資料分析師與資料科學家攜手共同完成這幅「大資料時代」巨作。

三者之間的定義又是如何區分的呢?

資料科學家是什麼樣乙個存在呢?

通常情況下,資料科學家有數學或物理方面的高等學位。有博士學位的情況並不少見,碩士學位僅是乙個前提條件。資料科學家精通統計建模以及如何構建與定製高階數學演算法。這既在他們專業範圍內,也是他們所擅長的地方。我聽到過有人這樣形容乙個資料科學家「軟體工程技能牛過多數人的酷炫統計學家」。

我結合加工的說:所謂資料科學家,是指運用統計分析、機器學習、分布式處理等技術,從大量資料中提取出對業務有意義的資訊,以易懂的形式傳達給決策者,並創造出新的資料運用服務的人才。

資料工程師如何定義呢?

資料工程師一般被定義成「深刻理解統計學科的明星軟體工程師」。如果你正為乙個商業問題煩惱,那麼你需要乙個資料工程師。這些夥計就是那些能提供可建模資料所需平台的人。他們的核心價值在於他們藉由清晰資料建立資料管道的能力。

資料分析師如何理解呢?

資料分析師能洞悉乙個方程式的商業意義。他們知道如何提出正確的問題,非常善於資料分析,資料視覺化和資料呈現。不管是給另乙個資料分析師還是c級執行做演講,資料分析師都是資料提取,模式識別以及從大量資料中洞察問題方面的能手。

如果你或者你的公司正考慮順應這股大資料浪潮的發展,你應該從明確你想利用大資料解決所面臨的商業問題處下手。接著找出你真正的需求:是資料採集,檢索,倉儲還是資料分析?然後編寫相應的職位描述並做好準備。

從事這三者都要具備哪些技能呢?

資料科學家所需的技能如下:

電腦科學

一般來說,資料科學家大多要求具備程式設計、電腦科學相關的專業背景。簡單來說,就是對處理大資料所必需的hadoop、mahout等大規模並行處理技術與機器學習相關的技能。

數學、統計、資料探勘等

除了數學、統計方面的素養之外,還需要具備使用spss、sas等主流統計分析軟體的技能。其中,面向統計分析的開源程式語言及其執行環境「r」最近備受矚目。r的強項不僅在於其包含了豐富的統計分析庫,而且具備將結果進行視覺化的高品質圖表生成功能,並可以通過簡單的命令來執行。

資料視覺化(visualization)

資訊的質量很大程度上依賴於其表達方式。對數字羅列所組成的資料中所包含的意義進行分析,開發web原型,使用外部api將圖表、地圖、dashboard等其他服務統一起來,從而使分析結果視覺化,這是對於資料科學家來說十分重要的技能之一。

資料工程師需具備的技能

數學及統計學相關的背景

對於大多數網際網路大公司來說,對於資料工程師的要求都是希望是統計學和數學背景的碩士或博士學歷,只有具備一定的理論知識,才能理解模型、復用模型甚至創新模型,來解決實際問題。

計算機編碼能力

實際開發能力和大規模的資料處理能力是作為大資料工程師的一些必備要素,因為許多資料的價值來自於挖掘的過程,你必須親自動手才能發現金子的價值。

對特定應用領域或行業的知識

資料工程師這個角色很重要的一點是,不能脫離市場,因為大資料只有和特定領域的應用結合起來才能產生價值。所以,在某個或多個垂直行業的經歷能為應聘者積累對行業的認知,對於之後成為資料工程師有很大幫助,因此這也是應聘這個崗位時較有說服力的加分項。

資料分析具備的技能

懂業務

從事資料分析工作的前提就會需要懂業務,即熟悉行業知識、公司業務及流程,最好有自己獨到的見解,若脫離行業認知和公司業務背景,分析的結果只會是脫了線的風箏,沒有太大的使用價值。

懂管理

一方面是搭建資料分析框架的要求,比如確定分析思路就需要用到營銷、管理等理論知識來指導,如果不熟悉管理理論,就很難搭建資料分析的框架,後續的資料分析也很難進行。另一方面的作用是針對資料分析結論提出有指導意義的分析建議。

懂分析

指掌握資料分析基本原理與一些有效的資料分析方法,並能靈活運用到實踐工作中,以便有效的開展資料分析。基本的分析方法有:對比分析法、分組分析法、交叉分析法、結構分析法、漏斗圖分析法、綜合評價分析法、因素分析法、矩陣關聯分析法等。高階的分析方法有:相關分析法、回歸分析法、聚類分析法、判別分析法、主成分分析法、因子分析法、對應分析法、時間序列等。

懂工具

指掌握資料分析相關的常用工具。資料分析方法是理論,而資料分析工具就是實現資料分析方法理論的工具,面對越來越龐大的資料,我們不能依靠計算器進行分析,必須依靠強大的資料分析工具幫我們完成資料分析工作。

懂設計

懂設計是指運用圖表有效表達資料分析師的分析觀點,使分析結果一目了然。圖表的設計是門大學問,如圖形的選擇、版式的設計、顏色的搭配等等,都需要掌握一定的設計原則。

工程師與科學家

入行已久,做的領域也從瀏覽器擴充套件到桌面端甚至是手機端,對 web 標準多少有些自己的看法,今日斗膽一說。兩種家 我們困惑不解 迷惑不安,很大程度上源於沒有指導思想。要擺正自己的位置,我們究竟是想做科學家,還是想做工程師。簡明扼要,科學家經常要問 為什麼 他們關心了解人類不懂的知識 工程師則利用科...

話說科學家 工程師 設計師 商人

計算機科學家做的是基本就是解決通過建立模型解決模型理論問題,或實際問題的理論模型。數學不好基本沒的說了,別幹這一行了,很少能成的,我覺得。不過只有數學好感覺也不是一切,但極有幫助是鐵打的。計算機科學家的工作一定是需要很多創造性的,數學或許只是工具吧 當然也有就是做計算機的數學的,如離散數學 組合數學...

話說科學家 工程師 設計師 商人

計算機科學家做的是基本就是解決通過建立模型解決模型理論問題,或實際問題的理論模型。數學不好基本沒的說了,別幹這一行了,很少能成的,我覺得。不過只有數學好感覺也不是一切,但極有幫助是鐵打的。計算機科學家的工作一定是需要很多創造性的,數學或許只是工具吧 當然也有就是做計算機的數學的,如離散數學 組合數學...