你還不知道大資料？

背景：

12月份有的同學參加了新工聯盟一級的測評考試，一級的內容主要是包括一些計算機基礎、大資料基本知識、資料操作和處理、資料分析方法和資料視覺化方法，今天就簡單分享其中一部分內容（持續更新）。

一、大資料定義

定義：對於「大資料」（big data）研究機構gartner給出了這樣的定義。它是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的資訊資產。通俗點：無法在一定時間內用常規軟體工具對其內容進行抓取、管理和處理的資料集合。

二、大資料基本特徵

特徵：大資料有五大特點，即大量、高速、多樣、低價值密度、真實性。它並沒有統計學的抽樣方法，只是觀察和追蹤發生的事情。

三、與傳統資料分析的區別

資料分析一般需要的是excel的能力，外加需要一些spss、r、之類的能力較為常見。大資料分析是資料分析的一種，是以新技術處理資料的資料分析。大資料分析一般主要用的是機器學習、資料探勘等分析能力可能還需要架構（hadoop等）、儲存等搭建或者優化的能力。

四、大資料分析流程

step1:問題識別

大資料分析的第一步是要清晰界定需要回答的問題。對問題的界定有兩個標準，一是清晰、二是符合現實。

step2:資料可行性論證

論證現有資料是否足夠豐富、準確，以致可以為問題提供答案，是大資料分析的第二步，專案是否可行取決於這步的結論。

step3:資料準備

對需要處理的問題進行資料的採集獲取、資料的清洗、資料整理。

step4:建立模型

專業領域模型：大資料產品對應的專案可能有對應的專業領域模型，例如pest分析模型、5w2h分析模型、邏輯樹分析模型、4p營銷理論模型、使用者行為模型等。

資料分析模型：這類模型包含分析結構化資料的資料探勘演算法模型；處理非結構化資料的語義引擎；視覺化策略等。流行觀點中的大資料分析主要集中在對第二類模型的討論上。

step5:評估結果

①定量評估：

定量評估是關注主觀標準的可靠性。資料探勘分析方法在計算上雖然依靠技術，但不少關鍵節點依靠主觀標準。

②定性評估：

定性評估的重點是考察大資料分析的結果是否合理、方案是否可行。