以前談及大資料，總會第一想到的是hadoop，分布式，然後沒了。而真正接觸大資料的時候，發現這是乙個很大的體系，大資料只是個概念，而真正的核心在於資料的操作上，從資料的收集，處理，儲存，計算上來發現資料中潛藏的價值。
大資料，機器學習，深度學習，人工智慧，這幾個比較火熱的話題，其實中間存在著千絲萬縷的聯絡。機器學習，深度學習，都是服務於機器智慧型化，為人工智慧提供了可能，同時也為發現資料的潛在價值提供了思路。
在我看來大資料的整個處理過程所為的目標不過是提供解決方案，當然，又到了先有雞還是先有蛋的問題，有問題才有解決方案。大資料的終極目標是挖掘資料的潛在價值，所以說目前的大資料處理大部分還是在解決問題的層面上，真正沒有根源的去從資料的各個維度去挖掘他的關係，發掘具有獨**值的部分，並沒有成為當下大資料發展的主流。
大規模資料抓取：
資料儲存系統：
資料分析系統：資料的分析也是大資料的核心，
針對不同的問題，建立所需的模型，模型的好壞直接決定著解決方案的效果。建模的過程說白了就是設計演算法的過程，當然不同於以往的演算法設計，更多的是運用到機器學習的演算法結合實際問題所設計的演算法方案。
裝飾器亂入用法
def innter name def a func func接收index呼叫的引數 a name return a innter 當innter後無引數時，會將index 函式傳入innter函式的name中 defindex print index index a def innter nam...
大資料 由點入麵了解Yarn
使用者提交的每個應用程式均包含1個am，主要功能包括 與rm排程器協商以獲取資源 用container表示 將得到的任務進一步分配給內部的任務 與nm通訊以啟動 停止任務 監控所有任務執行狀態，並在任務執行失敗時重新為任務申請資源以重啟任務。3.nodemanager nm nm是每個節點上的資源和...
Slim研讀筆記七亂入篇之Monolog（上）
最近兩天，我的同事小濤濤因開發需要，急需乙個日誌系統來記錄日誌。所以，從這節開始我們講解monolog，深入理解下monolog的使用方式與實現原理。在開始研讀之前，我們需要理清二個概念異常和錯誤。異常是exception類的物件，在遇到無法修復的狀況時丟擲 例如，遠端 api 無響應，資料庫查詢失...