雲棲大會持續擁抱開源阿里雲計算能力三大突破

摘要： 10月12日，阿里巴巴集團副總裁周靖人在雲棲大會上發布了阿里雲在大資料計算能力上的新突破：將bigbench資料規模擴充套件到100t；流計算2.0每秒峰值達千萬qps，整體鏈路延時亞秒級；e-mapreduce對比同類產品平均效能提公升3倍。

10月12日，阿里巴巴集團副總裁周靖人在雲棲大會上發布了阿里雲在大資料計算能力上的新突破：將bigbench資料規模擴充套件到100t；流計算2.0每秒峰值達千萬qps，整體鏈路延時亞秒級；e-mapreduce對比同類產品平均效能提公升3倍。

阿里巴巴集團副總裁周靖人與英特爾公司資料中心事業部副總裁rob hays

周靖人說，資料是機器智慧型創新的基礎，擁有充沛的計算能力才能全面釋放資料的價值。我們希望通過不斷的釋放阿里雲的計算紅利，幫助開發者抓住更多市場機遇。

bigbench全球首次達到100tb

tpcx-bigbench是大資料端到端真實複雜的業界領先測試基準，目前，tpc官網公布的測試最大規模為10tb，最佳效能是1491.23bbqpm。

當天，阿里雲與intel合作，在最新的intel硬體上，基於公共雲發布的bigbench on maxcompute+pai，全球首次將規模拓展到100tb，達到7000bbqpm，也是首個基於公共雲服務的benchmark。

據介紹，大會結束後，maxcompute會在公共雲開放乙個月的測試環境，並開源bigbench on maxcompute+pai的sdk（繼承自tpcx-bigbench，並使之執行在阿里雲的大資料環境上），供開發者驗證試用。

在規模上的優秀表現，得益於maxcompute的海量資料處理能力和機器學習演算法高效性，maxcompute基於阿里雲自主研發的分布式作業系統飛天，單集群伺服器規模可以達到萬台以上，資料規模達到eb級。

在效能上，maxcompute新一代處理引擎從compiler、optimizer、runtime等模組進行的持續深度優化。此外，maxcompute與intel開展深度合作，軟硬結合深度優化。

英特爾資料中心事業部副總裁robert hays - 」我們非常高興能夠和阿里雲共同在最新的英特爾® 至強® 可擴充套件處理器平台上對maxcompute進行深度優化，並見證阿里雲maxcompute在bigbench測試中表現出的優異成績「。

更快的流計算streamcompute 2.0

在流計算方面，周靖人透露將於10月底在公共雲發布新的版本。streamcompute 2.0基於apache flink，並為開源社群提供了大量阿里內部的改進和優化。

新版流式計算2.0的特點包括：

1.高吞吐低時延處理能力，單作業峰值達數千萬的qps，相比於streamcompute 1.0有10+倍提公升

2.sql化的流式分析語言，由阿里巴巴計算事業部實時計算團隊主導開發並回饋社群的blinksql；blinksql支援完備的流式處理語義，支援包括多種視窗、亂序容忍、完整ddl支援

3.精準的資料處理語義，提供exactly-once處理語義，同時為減少磁碟io，提供增量checkpoint，優化儲存空間。

e-mapreduce效能3倍提公升

e-mapreduce產品是阿里雲上基於開源大資料的雲服務產品，包括15+個開源元件的一站式大資料解決方案。周靖人現場發布了基於本地硬碟以及計算儲存分離的大資料解決方案。

周靖人介紹，為了解決大資料處理以及機器學習的統一排程難題，e-mapreduce產品實現了cpu/gpu的混合排程方案，使得資料預處理以及資料訓練可以在乙個平台上解決。

e-mapreduce對於資料讀寫的效能至關重要，產品通過對於物件儲存oss的優化，使得讀寫oss的效能是同類產品的3倍，對於計算和儲存分離的大資料解決方案的產品化形式變得可以落地。

雲棲大會 持續擁抱開源阿里雲計算能力三大突破