開始試讀：
大資料處理之道
近年來，「大資料」已然成為it界如火如荼的詞，與「雲計算」 並駕齊驅，成為帶動it行業發展的兩列高速火車。尤其是在物聯網快速發展的時代，資料已經被稱為新的資源，是支撐物聯網發展的基石。
那麼，如何把「死」的資料變成真正有效的「資源」，成為近年來it界人士共同思考的問題。一時間，各種大資料處理技術如井噴一般湧現。hadoop、 spark、storm、dremel、drill等大資料解決方案爭先恐後地展現出來。需要說明的是，這裡所有的方案並不是一種技術，而是數種甚至數十種技術的組合。就拿hadoop來說，hadoop只是「領頭羊」，關鍵成員還有mapreduce、hdfs、hive、hbase、pig、zookeeper等，大有「八仙過海，各顯神通」的氣勢和場面。
其次闡述了大資料下的日誌分析技術。在大資料時代，日誌分析方案呈現出遍地開花的景象。如果將大資料處理系統比作乙個可能得病的人，那麼日誌分析就是負責看病的醫生，要想讓大資料處理系統健康、平穩地執行，日誌分析和監控非常重要。這一部分重點闡述了日誌分析技術中如日中天的方案elk。
最後展望了大資料處理技術的發展趨勢。大資料處理技術發展迅猛，資料量越來越大，技術的革新在所難免。
作為大資料研發人員，只有時刻學習新技術，方能立於技術前沿。
大資料處理之道（實驗方法篇）
1 做大資料處理，清洗資料結束後，就是現象分析，再建立model模型，在驗證自己模型的有效性 2 大資料試驗驗證模型有效性的指標 accuracy 正確率 precision 查準率或準確率 recall 查全率或召回率 f1 measure true positives,true negative...
大資料處理
大資料處理的流程主要包括以下四個環節 採集 匯入 預處理 統計 分析 挖掘，下面針對這四環節進行簡單闡述。大資料處理之一 採集 在大資料的採集過程中，其主要特點和挑戰是併發數高，因為同時有可能會有成千上萬的使用者來進行訪問和操作，比如火車票售票 和 它們併發的訪問量在峰值時達到上百萬，所以需要在採集...
大資料處理隨筆
1.mssql當資料庫資料超過1000萬的時候超時是正常的，所以當表資料到1000萬時候注意delete 2.今天遇到資料庫時間格式2014021000 當然是int型別哦 3.聯合索引使用 開始時間與結束時間這樣一起查詢的要建成索引 4.訂閱資料庫，只可以查詢操作，這樣的話可以在這個表上面建立索引...