批量大資料：靜態的批量資料，在計算前已經獲取儲存，計算中不發生變化；
流式大資料：按時間順序無限增加的動態資料序列；
大規模圖資料：大規模的圖結構資料，如：社交網路圖。（圖資料存在較強的區域性依賴性）
資料採集層——包括業務資料、網際網路資料（可以通過爬蟲採集）、物聯網資料（可以通過流採集）;
資料儲存層 -——注意非關係型（nosql）資料庫（redis、mongodb）;
資料處理層——用到的工具有：mapreduce、storm、giraph;
服務封裝層.
資料採集系統：sqoop（用於關係型資料庫和非關係型資料庫的資料轉移），scrapy（基於python的爬取框架），flume;
資料儲存系統：hdfs(hadoop distributed file system)、swift、kafka；
計算引擎：mapreduce(批量資料)、storm(流式資料)、giraph(圖資料)、spark(支援批量流式圖資料)；
資料分析工具：hive(基於hadoop的資料倉儲，可將sql語句轉換為mapreduce任務執行)、spark sql（類似hive，是基於spark的資料倉儲）。
大資料處理平台都有哪些？
在大資料工作中，有很多的工具和平台需要我們去了解，當我們把這些工具爛熟於心，我們就能夠更好地處理大資料所涉及的問題。關於大資料的工具有很多，我們在前面的文章中已經給大家介紹了不少，今天重點給大家介紹一下大資料的處理平台。大資料的處理平台也是有很多的，我們可以從大資料的處理過程中進行區分。而大資料的處...
大資料處理平台與案例
大資料能夠在國內得到快速發展，甚至是國家層面的支援，最為重要的一點就是我們純國產大資料處理技術的突破以及跨越式發展。在網際網路深刻改變我們的生活 工作方式的當下，資料就成為了最為重要的資料。尤其是資料安全問題就更為突出，前階段的facebook使用者資料洩漏所引發產生的一系列問題，就充分的說明了資料...
大資料處理平台都有哪些？
我們在進行大資料工作的時候，需要對大資料的工具和平台多加了解，這樣我們才能夠更好地進行大資料工作。當我們熟悉這些工具的時候，我們才能夠更好地處理大資料的問題。當然關於大資料的工具有很多，我們可以從大資料的處理過程中進行區分。大資料的處理過程有很多，那麼大資料處理平台都有哪些呢？下面我們就給大家介紹一...