一、楔子
社群的力量是巨大的，開源的**也 是魅力無窮，靠忽悠無法長久的雲計算已是昨日黃花，it新貴的發力點聚焦大資料，言必稱大資料，語必談資料**，更有甚者，高唱2013是大資料元 年，2014必將是大資料爆發的一年。而企業也已躁動不安，紛紛舉旗遙相吶喊：「大資料我來了」。在此給這些企業潑盆冷水，降降溫度。讓大資料回歸理性。
二、追本溯源-我們為什麼需要大資料
基於開源平台發展起來的大資料技術，其發展的原動力**於企業面臨的瓶頸，這些瓶頸包括三個大的方面。
1.技術方面：
技術方面傳統的關係型資料庫無法儲存海量增長的歷史交易資訊，無法快速響應實時查詢需求，其實不是不能存，而是模式本身給業務帶來了不便。
2.成本方面
成本方面遭遇到it巨無霸的綁架，高效能的計算能力、儲存能力是以$為代價的，一方面硬體採購成本無法無天，公升級維護費用連綿不絕；另一方面在此之上的作業系統、資料庫系統以及應用軟體等都是價值不菲，成了企業不可承受之重；而以上兩點只是開始，並非結束，最可怕的東西到不在於此，而在於其一旦應用就無法替代，這才是真正致命的地方。
也因為此成就it時代的乙個又乙個巨無霸們。企業的決策者們都不是傻子，至少不會像你想象中的那麼傻。所以才有了對開源的熱切，才有了大資料技術的機會。
3.業務創新
銳意創新的人總是有的，而且總是走在時代的前列，利用大資料技術能否產生新的價值呢，能否帶來業務上的創新呢？我們不要以功利之心去揣測別人，即使有，我也認為這些人是最可愛的，向這些人致敬。
三、成本優勢-帳不是這麼算的
成本方面大資料技術真的就有那麼大優勢嗎？x86 pc server比ibm小機便宜，傻子都能算出來的計算題你有什麼質疑嗎？其實也不盡然，大資料技術的新穎性和技術發展的不成熟，帶來人力成本基本上可以直接乾掉硬體成本的節約。但是如果綜合起來，從直接成本和間接成本兩個角度去看問題的時候，大資料的成本優勢就能夠體現出來了。如果再加上發展的觀點、企業戰略的觀點看大資料，那麼其成本優勢則是完勝。
四、技術優勢-有所為，有所不為
以己之長，攻彼之弱，無堅不摧；以己之短，攻彼之堅，自取其辱；
大資料技術有其自身適用領域、技術特點，同樣因為其架構模式和設計原理，導致其有自身的缺陷：一方面源於自身的技術瓶頸，另一方面卻是基於社群發展的約 束。大資料技術適用於網際網路行業，其已經在發展過程中做過多次技術迭代和調整，其海量資料儲存優勢和平行計算能力已經得到驗證，其資料質量控制觀念也已經 形成，資料應用以資料總量體現方向和趨勢，單點資料的缺失無舉足輕重。而這種觀點卻不一定就適用傳統行業，比如銀行業務，你能用hbase去處理實時事務 **易嗎？言必稱去ioe，只是一種戰略，選個矮子比個頭，就是高過去，你也沒什麼面子，所以去ioe，是有前提的，有些領域你還真去不了；其次，你如果 丟失了一條訪問款資料，就會導致賬務不平，恰好客戶列印了自己的存單，錢去了何處？銀行是需要給個說法的。基於此並不能說明大資料就不能應用到銀行業務， 而是我們對待資料的嚴謹性，資料質量控制的觀點必須轉變，而不能繼續以網際網路思維模式去看待大資料在傳統行業的應用，否則必然會在謾罵聲中，灰溜溜的滾 蛋。
四、大資料演進路線圖-業務驅動、穩紮穩打
大資料在傳統行業的實施不可一蹴而就，以儲存為基礎，做好資料治理和質量控制，逐步實施。立足當下，放眼未來，才是正道。下面是我所總結的一張大資料演進路線圖：
當傳統企業遇上大資料
大資料絕對可以算得上當下的流行話題，購物要大數 出行要大數 看病要大數 上學要大數 好像什麼行業都能與大資料搭上邊，又似乎一切都可以大資料了。對於經歷過多年企業資訊化的傳統企業來說，大資料對於他們既清晰 又迷茫，他們有過資料倉儲 資料探勘 商業智慧型 bi 概念的洗禮，但又看不懂 大資料 與之前的概...
傳統資料與大資料
問世間，大資料為何物，直教人眾說紛紜 一本 big data 的書，掀起了大資料的浪潮，不管是it人士，還是 精英，都在議論大資料，春運大資料 出遊大資料 美食大資料 閱讀大資料 那麼，大資料到底是什麼呢？難道量大 數大就是大資料嗎？如果是這樣，大資料就是炒舊飯了，殊不知電信領域無論從數量規模，還是...
kafka支援大資料傳輸
kafka對於訊息體的大小預設為單條最大值是1m.但是在我們應用場景中,常常會出現一條訊息大於1m,如果不對kafka進行配置.則會出現生產者無法將訊息推送到kafka或消費者無法去消費kafka裡面的資料,這時我們就要對kafka進行以下配置 producer的引數中新增 max.request....