我們大多數人對資料工程師是誰有想法，但我們對大資料工程師的角色和責任感到困惑。一旦我們開始用適當的技能集對映這些角色和職責，並找到最有效和最有效的學習路徑，這種歧義就會增加。這個"大資料工程師技能"部落格將幫助您了解資料工程師的不同職責。因此，我將用適當的技能來規劃這些職責——將引導您通過適當的學習路徑。
讓我們從了解誰是資料工程師開始。
誰是資料工程師？
簡單地說，資料工程師是開發、構建、測試和維護大規模處理系統的完整體系結構的人。
接下來，讓我們進一步深入檢視資料工程師的工作角色。
資料工程師是做什麼的？
資料工程師的工作角色中包含的關鍵任務包括：
設計、開發、建造、安裝、測試和維護完整的資料管理和處理系統。
構建高度可擴充套件、健壯和容錯的系統。
負責完整的 etl(提取、轉換和載入)過程。
確保架構的規劃方式滿足所有業務需求。
發現資料採集的各種機會，探索使用現有資料的新方法。
提出提高整個系統資料質量、可靠性和效率的方法。
通過將各種程式語言和工具整合在一起，建立完整的解決方案。
建立資料模型以降低系統複雜性，從而提高效率和降低成本。
部署災難恢復技術
將新的資料管理工具和技術引入現有系統，使其更加高效。
接下來，我想解決乙個非常常見的困惑，即資料與大資料工程師之間的差異。
資料工程師和大資料工程師之間的差異
我們正處在資料革命的時代，資料是21世紀的燃料。各種資料來源 – 過去二十年中，許多技術已經發展起來， 主要**是 nosql 資料庫和大資料框架。
隨著大資料在資料管理系統中的出現，資料工程師現在必須處理和管理大資料，並且其角色已公升級為大資料工程師。由於大資料，整個資料管理系統變得越來越複雜。因此，現在大資料工程師必須學習多個大資料框架 - nosql 資料庫，以建立、設計和管理處理系統。
在這個大資料工程師技能部落格中，讓我們了解大資料工程師的責任。這將有助於我們使用所需的技能集對映資料工程師職責。
資料工程師職責
資料引入
資料引入意味著從各種源獲取資料，然後將其引入資料湖。有多種資料來源具有不同的格式和資料結構。
資料工程師需要從源中有效地提取資料的技能，這可以包括不同的資料引入方法，如批處理和實時提取。還有各種其他技能可以使資料引入更有效率，如增量載入、並行載入資料等。
當涉及到大資料世界時，隨著資料量開始加速，資料引入變得更加複雜， 資料也以不同的格式存在。資料工程師還需要了解資料探勘和不同的資料引入 api 來捕獲和將資料注入資料湖。
資料轉換
資料始終以原始格式存在，不能直接使用。它需要從一種格式轉換為另一種格式，或者根據用例從一種結構轉換為另一種結構。資料轉換可以是乙個簡單或複雜的過程，具體取決於資料來源、資料格式和所需輸出的多樣性。這可能包括各種工具，以及不同語言的自定義指令碼，具體取決於資料的複雜性、結構、格式和體積。
效能優化
構建乙個既可擴充套件又高效的系統是一項具有挑戰性的工作。資料工程師需要了解如何提高單個資料管道的效能， 優化整個系統。
再次，當我們處理大資料平台時，效能成為乙個主要因素。大資料工程師需要確保優化從查詢執行到通過報表和互動式儀表板視覺化資料的整個過程。這需要各種概念，如分割槽、索引、非規範化等。
除此之外，資料工程師工作基於行業使用的工具和技術，可以承擔各種責任。
總結大資料工程師的職責：
設計、建立、構建和維護資料管道
聚合和轉換來自各種資料來源的原始資料，以滿足功能和非功能性業務需求
效能優化：自動化流程、優化資料交付和重新設計完整架構以提高效能。
使用大資料框架和 nosql 資料庫處理、轉換和管理大資料。
構建完整的基礎架構以引入、轉換和儲存資料，以便進一步分析和業務需求。
如果您將檢視和比較不同的大資料工程師職位描述，您會發現大多數職位描述都基於現代工具和技術。在本大資料工程師技能部落格中，讓我們看一下將聘請您為大資料工程師所需的技能。
大資料工程師技能：成為大資料工程師所需的技能
大資料框架/基於 hadoop 的技術：隨著大資料在 21 世紀初的興起，乙個新的框架誕生了，該框架不僅以分布式方式儲存大資料，而且還並行處理資料。
hadoop 生態系統中有許多任務具，可滿足不同目的 – 屬於不同背景的專業人士。
對於大資料工程師來說，掌握大資料工具是必須的。您需要掌握的一些工具包括：
hdfs(hadoop 分布式檔案系統)：顧名思義，它是 hadoop 的儲存部分，它將資料儲存在分布式群集中。作為 hadoop 的基礎，hdfs 知識是開始使用 hadoop 框架的必備知識。
yarn：yarn 通過將資源分配給不同的應用程式並安排作業來執行資源管理。yarn 是在 hadoop 2.x 中引入的。隨著 yarn 的引入，hadoop 變得更加靈活、高效和可擴充套件。
mapreduce：mapreduce 是一種並行處理範例，它允許在分布式 hadoop 儲存(即 hdfs)之上並行處理資料。
pig – hive：蜂巢是 hdfs 之上的資料倉儲工具。hive 為 sql 背景的專業人員提供服務以執行分析。而 apache pig 是一種高階指令碼語言，用於 hadoop 之上的資料轉換。資料分析器通常使用 hive 建立報告，而 pig 則被研究人員用於程式設計。如果您熟悉 sql，則兩者都很容易學習。
flume & sqoop： flume 是一種用於將非結構化資料匯入 hdfs 的工具，而 sqoop 用於從 rdbms 匯入和匯出結構化資料到 hdfs。
動物園管理員：動物園管理員充當在 hadoop 環境中執行的分布式服務的協調人。它有助於配置管理和同步服務。
oozie：oozie 是乙個排程程式，它將多個邏輯作業繫結在一起，並有助於完成乙個完整的任務。
資料庫體系結構：最突出的資料來源之一是資料庫。對於資料工程師來說，了解資料庫設計和資料庫體系結構(如 1 層、2 層、3 層和 n 層)至關重要。資料模型和資料架構也是資料工程師應具備的關鍵技能之一。
基於 sql 的技術(例如 mysql)：結構化查詢語言用於構建、操作和管理儲存在資料庫中的資料。當資料工程師與關聯式資料庫密切合作時，他們需要對 sql 具有強大的命令。pl/sql 在行業中也占有顯著地位。pl/sql 在 sql 之上提供程式程式設計功能。
nosql 技術：隨著組織的要求增長，超出了結構化資料的範圍，因此引入了 nosql 資料庫。它可以儲存大量的結構化、半結構化和非結構化資料，根據應用程式要求快速迭代和敏捷結構。
一些使用最突出的資料庫是：
hbase 是面向列的 nosql 資料庫，位於 hdfs 之上，非常適合可擴充套件和分布式大資料儲存。它適用於具有優化的基於讀取和範圍的掃瞄的應用。它提供了從 cap 的 cp(一致性和分割槽)。
cassandra 是乙個高度可擴充套件的資料庫，具有增量可擴充套件性。卡桑德拉最好的部分是管理最少，沒有單點失敗。 它適用於快速和隨機、讀取和寫入的應用程式。它提供 cap 的 ap(可用和分割槽)。
mongodb 是面向文件的 nosql 資料庫，該資料庫沒有架構，即您的架構可以隨著應用程式的增長而發展。它還為高效能和故障容差複製提供完整的索引支援。它有乙個主從架構 – 提供 cap 的 cp。它被 web 應用程式和半結構化資料處理嚴格使用。
python/r：各種程式語言可以服務於相同的目的。一種程式語言的知識就足夠了，因為味道變了，但邏輯保持不變。如果您是初學者，您可以繼續使用 python，因為它的語法簡單和良好的社群支援，因此很容易學習。而r有乙個陡峭的學習曲線，這是由統計學家開發的。r 主要由分析師和資料科學家用於執行資料分析。
etl/資料倉儲解決方案(資訊學)：資料倉儲對於管理來自異構源的大量資料非常重要，您需要應用 etl(提取轉換負載)。資料倉儲用於資料分析和報告，是商業智慧型中非常重要的一部分。對於大資料工程師來說，掌握資料倉儲或 etl 工具非常重要。掌握乙個後，它變得容易學習新的工具，因為基本保持不變。
informatica – 塔倫德是業內使用的兩種知名工具。informatica – 塔倫德開放式工作室是具有etl架構的資料整合工具。塔倫德的主要好處是它支援大資料框架。我建議你從塔倫德開始，因為在此學習後，任何dw工具都會成為你的一塊蛋糕。
使用 unix、linux、solaris 或 ms windows – 使用全行業的各種作業系統。unix – linux 是一些使用突出的作業系統 – 大資料工程師至少需要掌握其中乙個作業系統。
除了了解完整的資料流和業務模式之外，成為資料工程師的動機之一是薪水。
大資料工程師工作與薪水
"大資料工程師"的平均工資從94，944美元到126，138美元不等。根據glassdoor的資料，美國高階資料工程師的全國平均工資為181，773美元。
linkedin(in) = 2，746個工作崗位
linkedin(美國) = 39，647個工作崗位
的確 -127，091 個工作
玻璃門(美國) = 143，304 個工作崗位
除了了解完整的資料流和業務模式之外，成為資料工程師的動機之一是薪水。
大資料工程師簡歷 成為大資料工程師所需的技能
我們大多數人對資料工程師是誰有想法，但我們對大資料工程師的角色和責任感到困惑。一旦我們開始用適當的技能集對映這些角色和職責，並找到最有效和最有效的學習路徑，這種歧義就會增加。這個 大資料工程師技能 部落格將幫助您了解資料工程師的不同職責。因此，我將用適當的技能來規劃這些職責 將引導您通過適當的學習路...
大資料工程師簡歷 IT職位解析 大資料開發工程師
1 簡單點評 發展不錯，需求不少，不過需求中主要是資料分析相關崗位，牽涉到演算法建模等高階內容的話實際上不適合剛畢業的不同本科學生。建議普通本科或專科學生從資料分析入行，掌握python，以後逐步向高階資料分析師 資料探勘工程師 人工智慧開發工程師方向走，2 發展前景 大資料類職位需求增幅僅次於ai...
為什麼要成為大資料工程師
通常，資料科學團隊由資料分析師，資料科學家和資料工程師組成。這篇文章我們更深入地了解成為資料工程師的一些優勢。資料工程師是將公司或機構內所有資料生態系統的各個部分聯絡起來的人。他們通過執行以下操作來實現此目的 a.從應用程式和系統訪問，收集，審核和清除資料，使其變為可用狀態 b.建立和維護高效的資料...