機器學習平台平台依託於大資料底層先進的基礎架構設施，有效地將大資料平台中的計算、儲存、排程等系統協同起來。它可以為使用者提供資料標註、資料清洗、資料建模、模型上線等一站式服務。依託這個平台，使用者可以輕鬆 地在 pb 級資料上快速進行演算法的研究和落地。到目前為止，京東大資料的機器學習平台廣泛應用於**鏈、使用者畫像、無界零 售等領域。
京東的機器學習平台由基礎架構層、工具層、任務排程層、演算法層以及 api 層組成
基礎架構層
機器學習平台擁有排程大規模異構計算資源的能力。
為了滿足不同的機器學習演算法的計算需求，基礎架構層能同時支援cpu、gpu、高速儲存裝置、高速網路裝置等不同硬體資源排程。借助虛擬化技術，機器學習平台可以將同乙個硬體裝置在不同的任務中進行資源共享，有效地提高了硬體資源的利用率。
高效能資源排程器能幫助不同的資料建模工具快速找到合適的計算資源，並且部署分發計算任務，管理任務狀態，按照約定的協議對分布式的任務進行錯誤恢復。
工具層
工具層給使用者提供了機器學習演算法研發的一站式服務。使用者可以通過離線和實時資料處理平台進行海量資料的處理和分析，從資料中找到業務的價值。 我們圍繞著統計學習和深度學習等領域，結合基礎架構，對這些建模工具進行了大量的改進和優化,提公升其演算法的訓練速度和訓練資料集的規模。與此同時，機器學習平台還提供了超引數優化等功能。依靠這些功 能，使用者可以快速在海量資料上構建上千億維度的模型。
為了進一步降低模型的落地門檻，機器學習平台還提 供了統一的serving 平台。使用者可以在不需要做任何系統開發的 情況下，將演算法模型變成穩定高效的服務介面。serving 平台除了 根據演算法模型的特點進行了大量的硬體層面和軟體層面的效能優化之外，還給使用者提供了統一監控報警、負載均衡、模型版本管理、多版本 a/b 測試等功能。使用者還可以借助跨平台 sdk 對 模型進行壓縮和裁剪，以便應用於移動端及 iot 裝置之上。
任務排程層
隨著近幾年人工智慧技術的快速發展，演算法模型精度提公升的同時，模型的複雜性也在不斷地增加，使用者往往不能只依賴單一工具或單一任務來達到目標。為了解決這一痛點，機器學 習平台利用任務排程系統將不同的工具連線到一起，幫助使用者完 成複雜的 dag 任務和定時任務，降低使用者的使用難度。
演算法層
機器學習平台內建了上百個經過優化的演算法模組。這些演算法模組覆蓋了視覺、語音、自然語言、統計分析、圖運算、特徵處理等領域。每乙個模組都採用了統一的資料介面，同時提 供了靈活的引數供使用者進行調整。使用者可以通過命令列或者 ui 互動將不同的演算法模組鏈結到一起來完成乙個複雜的機器學習 任務。
api 層
機器學習環境部署
1.安裝python python官網 點選首頁download windows 找到對應版本即可 開啟exe安裝程式即可 注意不要點選install now 要改為個性化安裝 選對安裝位址 2.安裝常用庫 numpy scipy mayplotlib scikit learn 機器學習庫 也可以選...
機器學習環境初配置
title 機器學習環境初配置 date 2018 9 19 00 15 11 tags 標籤 python machine learning anaconda python3 pycharm 原本環境是mac 自帶的python2.7 anaconda。anaconda 真的很方便，安裝過程網上很...
《機器學習筆記》 環境配置
心好累，從最開始的32位python2.7，做movielens1m試驗就直接記憶體報錯了，後來換成了64位python2.7，最近做文字讀取試驗又遇到編碼問題，另一台電腦的64位python卻沒問題，這裡索性把自己的主要python開發環境換成64為python3.5，那就記錄下來吧，以後還是用最...