前言：學習了好久了，也沒有系統的整理過這些東西，感覺再這麼下去算是荒廢了，懶惰加上不思進取就這樣子過去大半年了，而且最近總是把技術聖地變成自己的宣洩的地方哈哈，隨便寫的啥都亂髮，打擾到各位了，在這裡給各位道歉了%%。因為基礎很差所以列一下自己遇到的覺得書到用時方恨少的栗子：經過乙個比賽感覺自己也學得不紮實，自從非正常退役acm以後，就距離乙個acmer越來越遠了，感覺自己都快脫離了，但是現在想想自己還呆在實驗室，應該好好的搞東西，而不是每天都划水。orz。藉此正好整理近些天學習的大資料的材料和知識，以及自己的見解。
這些前置技能就是僅供參考，等到學習大資料時，搭建hadoop環境等的，能夠很好的幫助理解。
這個專題會持續一段時間吧，當然中間可能會偶爾穿插一些其他的東西。
這篇當作是走進大資料技術的第一步了，當時也是第六屆「大唐杯」全國大學生移動通訊應用創新大賽（4g/5g&大資料應用創新大賽）全國總決賽的乙個反思總結。
大資料技術
如果沒有乙個好的開始，不妨試試乙個壞的開始吧。因為乙個壞的開始，總比沒有開始強。而完美的開始，則永遠都不會來到。資料採集傳輸主要技術 分為兩類，一類是離線批處理 另一類是實時資料採集和傳輸 離線批處理最有名的是sqoop 實時資料採集和傳輸最為常用的是flume和kafka sqoop 一款開源的離...
大資料之大資料技術架構
上期我們說到大資料的概念，其實，大資料比我們想象中的還要複雜，本期，我們主要從技術的角度介紹一下大資料的知識。大資料技術是一系列技術的總稱，它是集合了資料採集與傳輸 資料儲存 資料處理與分析 資料探勘 資料視覺化等技術，是乙個龐大而複雜的技術體系。根據大資料從 到應用，實現傳輸的流程，可以將大資料技...
大資料架構 常見大資料技術
本文是一篇讀書筆記，源自 大資料架構詳解 part i 資料獲取 資料獲取元件 網頁採集 網路爬蟲 日誌收集 中介軟體技術 part ii 流處理 流的概念 流引擎 storm 流引擎 spark streaming 流引擎 flink part iii 互動式分析 互動式分析的概念 mpp db技...