以下為《資料中臺架構——企業資料化最佳實踐》讀書筆記
一、資料資源的盤點與規劃
資料化的基礎是資訊化或者是資訊化所產生的資料。
資料資源的盤點與規劃需要達到以下目的：
（1）對現有資料資源盤點和統計。
（2）對企業可以擁有或者應該擁有的資料資源進行規劃。
（3）構建盤點體系並使用必要工具，保證盤點的成果能夠始終與真實情況相符。
我們可以按照資料資源的類別進行資料資源盤點。
資料資源盤點流程為：
（1）盤點應用系統資料庫中的資料：進行企業應用系統統計；了解系統所使用的資料庫；獲取資料庫的資料字典；如果沒有資料字典，就進行資料探查，了解每個資料庫表的含義；進行元資料記錄。
（2）盤點檔案伺服器中的檔案資料：統計檔案伺服器；了解檔案內容和使用部門；從元資料視角進行資料資源統計。
（3）盤點中介軟體產生的日誌資料：資料庫日誌；中介軟體、系統日誌；其他日誌。
（4）盤點資料服務中的資料，包括企業服務匯流排發布的資料、應用系統發布的資料、外部資料服務提供的資料。
（5）盤點網路和生產裝置中的資料，包括流資料和iot資料。
（6）盤點散落的資料：員工的工作電腦中的工作電子文件、電子版的合同等。
資料資源盤點後，可以形成元資料列表、分類和屬性表（包括資料庫中的元資料列表、分類和屬性表；檔案/資料夾中的元資料列表、分類和屬性表）以及可以進行資料資源盤點統計，如整體情況統計、明細統計、資料屬性內容覆蓋度統計等。
資料資源盤點可以使用當前是市場較為流行的套裝軟體進行線上資料資源的盤點。
二、資料應用規劃與設計
該步驟可以回答以下幾個問題：
（1）企業中有哪些資料需求
（2）企業應該構建哪些資料應用
（3）應該按照什麼順序實現這些資料應用
三、資料資產建設
資料資產將是企業在全面資料化建設前期中投入最多、見效最慢的基礎層模組。所有資料化建設最後都是以資料資產為基礎，並且圍繞這個基礎展開。
資料資產建設的內容包括：
（1）技術建設。這項內容包括產品選型（如何選擇資料中臺產品、資料中臺產品應該具備的功能以及技術引數指標）、技術架構設計（包括資料中臺產品如何部署、如何替換傳統的資料倉儲或者與之並行、資料中臺如何抽取當前的應用資料）。
（2）標準和資料倉儲模型構建
包括兩部分工作，一是建模及開發規範：制定資料倉儲模型設計的規範、制定資料開發規範；二是資料建模：進行資料倉儲模型構建，並提交評審。
（3）資料抽取、資料開發、任務監控與運維
資料開發包括進行資料任務開發，進行資料清洗、資料計算。
（4）資料質量校驗
資料質量校驗包括對當前發現的資料質量問題進行校驗和處理，並推動資料治理工作開展和持續優化。
（5）資料應用支撐
包括為當前的資料應用開發提供支撐開發平台。
四、資料應用的詳細設計與實現
資料應用的設計大體上可以遵循傳統資訊化應用設計的過程和理念，可以使用瀑布模型盒敏捷模型。資料應用的中資料開發一般在資料庫或是資料倉儲中完成。資料應用的內容展示可以採用bi分析工具展現，資料應用還可以通過api介面服務提供資料成果，讓其他外部應用按需呼叫。
資料應用開發與傳統資訊化應用開發的不同：
（1）資料應用關注資料來源的內容和質量
（2）複雜的資料開發需要不斷調優和迭代。最終業務價值的產生是乙個複雜的過程，不僅需要資料的支撐，還需要管理的配合。
（3）資料應用的結果資料的驗證工作量佔比高
（4）資料應用的運維難度大
（5）資料應用的成果需要運營
五、資料化組織規劃
企業資料化應該是未來乙個時期內具有企業戰略高度的市區，資料化需要乙個具有同等戰略高度的組織負責推進。（說白了，就是一把手工程。）組織是保障資料中心順利落地的乙個核心，也是推動企業資料化程序的人員抓手。
大資料分析五步法流程順序
我們知道做認識事情都有個流程順序，正確的流程可以事半功倍，錯誤的流程往往會導致事情重新來做。流程如此重要，具體到資料分析的流程也是一樣的，資料分析可以分為五步，過程和家裡的賢內助做飯的過程相似，分為問題識別，資料可行性論證，資料準備，建立模型，評估結果。希望本文可以拋磚引玉，引發對大資料分析的適用性...
doe五步法 試驗設計DOE的五步曲
無論是在工程技術 質量管理 產品研發等方面，還是在近來熱門的六西格瑪領域，試驗設計doe都是我們解決問題的好幫手，其應用可以說涵蓋了包括機械 電子 化工 汽車 菸草 醫藥 食品 銀行 電信 物流等所有的行業。眾所周知，各類高科技公司的產品本身及其製造工藝千差萬別，小到英特爾公司生產的cpu晶元，大到...
原生ajax 五步法寫ajax 相容
區域性重新整理技術 ajax請求 請求後端介面，返回資料到前端，前端根據需求渲染到介面 五步法寫ajax 1.建立ajax物件 2.建立伺服器連線 open 的引數 1 傳送請求的引數 get post 2 api路徑 3 async 同步或者非同步 值為 true非同步 false同步 可寫可不寫...