深度學習三大痛點,英特爾的解決之道

2021-10-05 02:12:51 字數 2121 閱讀 2679

很多人認為深度學習的主要痛點是效能,只要有足夠強大的效能,即可以解決深度學習存在的各種問題。但在馬子雅看來,效能並非深度學習的主要痛點,使用者的真正痛點主要有三個方面。

第一大痛點就是如何將資料與 ml/dl 演算法結合在一起。長期以來,業界一直存在乙個爭論,即要想獲得更強大的 ml/dl 解決方案,我們是否應該更重視資料或者演算法層面的改進。考慮到大家已經擁有合理的演算法,那麼下一步的核心自然在於資料。imagnet 是其中的典型例子,近年來影象分析的重大突破,正是由 imagenet 這類大規模公開資料集推動的。英特爾推出 bigdl 和 analytics zoo,也是為了更好地解決資料與機器學習 / 深度學習演算法整合的問題。

第二大痛點與 ai/ml 的生產落地有關。儘管當前市場對於 ai 技術抱有很大興趣,但實施水平仍然相當低下。因此,需要考慮如何幫助客戶真正有效地將路徑查詢或概念驗證 ai 專案投入生產環境,從而根據需求構建起完整的 ai/ 分析流水線——包括高質量資料來源整理、資料預處理與清潔、適當特徵資料的選擇與構建、適當模型的選擇、模型超引數的優化、機器學習模型的後期處理、視覺化以及部署等。這類解決方案要求資料工程師、資料科學家以及 it 工程師共同參與並高效協作。

第三大痛點在於 ai 技能組合的供需之間存在巨大的鴻溝。由於這種差距的客觀存在,任何一家企業或者個人都無法輕鬆地使用 ai 技術。在過去幾年,有越來越多的學術課程與行業研討活動正在試圖縮小這種差距。但截至目前,我們可能還需要一段時間才能迎來真正能夠立刻投入生產的技能成熟的員工隊伍。

談談人工智慧行業和未來趨勢

ai 不再停留在實驗室裡

ai 技術正在扮演著非常重要的角色,並在推動業務差異化方面發揮關鍵作用。越來越多企業開始把人工智慧解決方案實際投入到生產中,雖然很多企業目前還屬於正在部署或者剛剛部署人工智慧的狀態,但對人工智慧第一階段落地的投入通常都已經具備一定規模,並且在提高資源使用效率、改善實際業務成果上初具成效。因此,對於未來人工智慧實際的部署落地,馬子雅持非常正面的態度。

中國企業在 ai 部署上膽子更大

英特爾在美國與中國都擁有眾多客戶與合作夥伴,馬子雅與我們分享了中美企業在尋求 ai 解決方案上存在的一些差異。

在馬子雅看來,在 ai 技術的研究與探索方面,近年來中國在快速發展。通過過去幾年中國在**發布數量與開源專案參與度方面的迅猛提公升,就已經能夠看到這一明顯趨勢。

另一方面,對於 ai 技術方案的部署,中國的生產與部署十分廣泛。例如,在中國,我們能夠想到的幾乎所有行業都在嘗試部署 ai 方案。中國的企業無論規模大小,都在積極嘗試利用 ai 技術改善其業務成果。

而在美國,大多數企業客戶更願意在「非常成熟」時才部署 ai 解決方案,且相關產品最好是由 isv、oem 或者 csp 負責提供並支援。另外,國內人工智慧解決方案的規模,尤其是投入生產的規模,相對來說比美國的很多使用者要更大一些。

重點關注三大 ai 新興趨勢

馬子雅表示,未來英特爾將重點關注以下三大新興趨勢:

首先,ai 技術將繼續在企業與雲環境中快速增長。在雲上,csp 領域的 ai 創新速度非常快,isv 則正在努力追趕。以最新趨勢來看,hpc(高效能計算)與 ai 技術正在融合。未來五年之內,hpc ai 營收將由 23 億美元增長至 47 億美元。由於資料分析人員開始使用規模較大的資料集,相他們可能會通過分析提出越來越困難的問題,其中的工作負載將越來越多地表現為高效能計算問題。另一方面,傳統 hpc 研究人員也希望借助大資料與 ai 技術加快自己的研究。為了滿足這一需求,英特爾正致力於在 hpc 之上實現 ai 與大資料分析功能,同時充分利用已有的 hpc 基礎設施(包括高效能儲存、結構與計算等)。

第二,分析與 ai 技術正在融入大資料平台。為了實現生產應用,ai 方案需要配備端到端分析流水線,其中 80% 的資源被用於資料攝取、清潔與預處理、管理以及視覺化等等;只有 20% 專注於訓練與推理。英特爾將利用自身在大資料與分析領域的領導地位,提供統一的生產級平台,將資料科學生態系統引入大資料平台。同時不斷改進特定資料科學專案的單節點效能,例如 pandas、scikit-learn、daal 以及 spark sql 等,提高大資料平台上 python 專案的橫向擴充套件效率,並將關鍵計算密集型演算法轉交由加速器負責處理。

第三,未來新的使用者場景更需要端到端解決方案的支援,且可能涉及從邊緣 / 客戶端到資料中心的整個體系。據 idc **,未來 45% 的資料將在邊緣進行管理和分析。邊緣端的智慧型 / 推理方案將使實時決策成為可能,從而顯著節約網路頻寬與資料中心儲存 / 計算帶來的成本。

面向機器學習和深度學習的英特爾優化工具和框架

本文介紹了面向機器學習和深度學習的英特爾優化工具和框架,還展示了整合至上述優化工具和框架的英特爾庫 有助於充分利用優化工具和框架,在英特爾 架構上實現最佳效能 這些資訊對初次使用的使用者 資料科學家和機器學習工作人員非常實用,能夠幫助他們快速了解英特爾優化工具和框架。簡介 機器學習 ml 屬於一般意...

英特爾柏安娜 資料中心演進的三大推動力

zd至頂網伺服器頻道 04月15日 新聞訊息 文 鄒大斌 今天,我們的資訊與通訊技術正處在乙個激動人心的時代,這集中體現在三個變化上,這就是雲計算 網路轉型以及資料分析,正是這三大變化驅動了資料中心行業的發展。英特爾公司高階副總裁 資料中心事業部總經理柏安娜 diane m.bryant 在今年的i...

英特爾CES三大焦點 筆記本 顯示卡和自動駕駛

eyeq ultra有助於自動駕駛技術進入尋常百姓家 鳳凰網科技訊 北京時間1月5日訊息,當地時間星期二,英特爾在一次 日 活動程式設計客棧上公布了一系列新產品,焦點是筆記本 顯示卡和自動駕駛。與上一代產品相比,酷睿i9 12900hk效能提公升40 遊戲執行速度提公升28 英特爾稱包括聯想 惠普和...