一、大資料是什麼?
大資料，big data，《大資料》一書對大資料這麼定義，大資料是指不能用隨機分析法(抽樣調查)這樣捷徑，而採用所有資料進行分析處理。
這句話至少傳遞兩種資訊：
1、大資料是海量的資料
2、大資料處理無捷徑，對分析處理技術提出了更高的要求
二、大資料的處理流程
下圖是資料處理流程：
很多初學者，對大資料的概念都是模糊不清的，大資料是什麼，能做什麼，學的時候，該按照什麼線路去學習，學完往哪方面發展，想深入了解，想學習的同學歡迎加入大資料學習qq群：199427210，有大量乾貨（零基礎以及高階的經典實戰）分享給大家，並且有清華大學畢業的資深大資料講師給大家免費授課，給大家分享目前國內最完整的大資料高階實戰實用學習流程體系
1、底層是數以千億計的資料來源，資料來源可以是scm(**鏈資料)，4pl(物流資料)，crm(客戶資料)，**日誌以及其他的資料
2、第二層是資料加工層，資料工程師對資料來源按照標準的統計口徑和指針對資料進行抽取、清洗、轉化、裝載(整個過程簡稱elt)
3、第三層是資料倉儲，加工後的資料流入資料倉儲，進行整合和儲存，形成乙個又乙個資料集市。
資料集市，指分類儲存資料的集合，即按照不同部門或使用者的需求儲存資料。
4、第四層是bi(商業智慧型)，按照業務需求，對資料進行分析建模、挖掘、運算，輸出統一的資料分析平台
5、第五層是資料訪問層，對不同的需求方開放不同的資料角色和許可權，以資料驅動業務。
大資料的量級，決定了大資料處理及應用的難度，需要利用特定的技術工具去處理大資料。
三、大資料處理技術
以最常使用的hadoop為例：
hadoop是apache公司開發的乙個開源框架,它允許在整個集群使用簡單程式設計模型計算機的分布式環境儲存並處理大資料。
集群是指，2臺或2臺以上伺服器構建節點，提供資料服務。單台伺服器，無法處理海量的大資料。伺服器越多，集群的威力越大。
hadoop類似於乙個資料生態圈，不同的模組各司其職。下圖是hadoop官網的生態圖。
hadoop的logo是乙隻靈活的大象。關於logo的**，網上眾說紛紜，有人說，是因為大象象徵龐然大物，指代大資料，hadoop讓大資料變得靈活。而官方蓋章，logo**於創始人doug cutting的孩子曾為乙個大象玩具取名hadoop。
從上圖可以看出，hadoop的核心是hdfs,yarn和map reduce，下面和大家講一講，幾個主要模組的含義和功能。
1、hdfs(分布式檔案儲存系統)
資料以塊的形式，分布在集群的不同節點。在使用hdfs時，無需關心資料是儲存在哪個節點上、或者是從哪個節點從獲取的，只需像使用本地檔案系統一樣管理和儲存檔案系統中的資料。
2、map reduce(分布式計算框架)
計算機要對輸入的單詞進行計數：
如果採用集中式計算方式，我們要先算出乙個單詞如deer出現了多少次，再算另乙個單詞出現了多少次，直到所有單詞統計完畢，將浪費大量的時間和資源。
如果採用分布式計算方式，計算將變得高效。我們將資料隨機分配給三個節點，由節點去分別統計各自處理的資料中單詞出現的次數，再將相同的單詞進行聚合，輸出最後的結果。
3、yarn(資源排程器)
相當於電腦的任務管理器，對資源進行管理和排程。
4、hbase(分布式資料庫)
hbase是非關係型資料庫(nosql)，在某些業務場景下，資料儲存查詢在hbase的使用效率更高。
關於關係型資料庫和菲關係型資料庫的區別，會在以後的文章進行詳述。
5、hive(資料倉儲)
hive是基於hadoop的乙個資料倉儲工具，可以用sql的語言轉化成map reduce任務對hdfs資料的查詢分析。hive的好處在於，使用者無需寫map reduce任務，只需要掌握sql即可完成查詢分析工作。
6、 spark(大資料計算引擎)
spark是專為大規模資料處理而設計的快速通用的計算引擎
7、mahout(機器學習挖掘庫)
mahout是乙個可擴充套件的機器學習和資料探勘庫
8、sqoop
sqoop可以將關係型資料庫匯入hadoop的hdfs中，也可以將hdfs的資料導進到關係型資料庫中
通過hadoop強大的生態圈，完成大資料處理流程。
在不久的將來，大資料一定會徹底走入我們的生活，有興趣入行未來前沿產業的朋友，可以加入一起學習。讓我們一起攜手，引領人工智慧的未來！
如何成為一名大資料工程師？
導 讀 大資料是眼下非常時髦的技術名詞，與此同時自然也催生出了一些與大資料處理相關的職業，通過對資料的挖掘分析來影響企業的商業決策。這群人在國外被叫做資料科學家 data scientist 這個頭銜最早由d.j.pati和jeff hammerbacher於2008年提出，他們後來分別成為了領英 ...
大資料時代，怎麼才能快速成為一名合格的資料分析師
hadoop的組成主要分為三個部分，分別為hdfs mapreduce hbase等元件，大資料背景下，apachehadoop已經逐漸成為一種標籤性，業界對於這一開源分布式技術的了解也在不斷加深。但究竟誰才是hadoop的最大使用者呢，首先我們應該想到的當然是它的 發源地 像google這樣的大型...
一名優秀的資料分析師，應該具備哪些基本素質？
一名優秀的資料分析師應該具備五方面的素質，態度嚴謹負責 好奇心強烈 邏輯思維清晰 擅長模仿 用於創新。態度嚴謹負責 嚴謹負責是資料分析師的必備素質之一，只有奔著嚴謹負責的態度，才能保證資料的客觀 準確。在企業裡，資料分析師可以說是企業的醫生，他們通過對企業運營資料的分析，為企業尋找癥結的問題。好奇心...