谷歌發布第二代TPU,並提供了免費試用方案

2021-08-03 02:40:25 字數 1449 閱讀 9945

與第一代tpu只能服務於機器學習模型計算不同,谷歌最新的tpu現在既能處理訓練也能處理服務。infoq年初曾詳細介紹過第一代tpu***。

第二代tpu的發布時間與一周前nvidia發布

volta的時間高度吻合,後者是乙個普通的gpu,針對tensorflow進行了優化,具備經過嚴格測試的tensor core特性。谷歌沒有像第一代tpu發布時那樣提供乙份與第二代tpu配套的公共***。第一代tpu的***是在tpu發布幾個月之後才發布的。所以,可以推測,詳細介紹第二代tpu(tpu-2)基準測試資料的***即將到來。理想情況下,其中會包含tpu和競爭對手晶元組配置的測試組合、它們的邊界效能以及在它們上面執行的機器學習工作負載型別。和第一代tpu***類似,那會提供有關tpu-2的詳細資訊。

谷歌提供了一些高階效能指標,據推測,這些指標是以谷歌通過gcp計算引擎

提供tpu即服務時使用的tpu物理基礎設施配置為基礎。一組特定的研究人員和科學家將可以免費使用乙個包含1000個雲tpu的集群。該免費的tpu基礎設施和面向其他所有人的gcp服務可能有乙個很大程度的抽象,硬體研究人員或新聞資訊可以在沒有***的情況下有乙個深入的了解。在效能提公升方面,谷歌指出:

……我們的大規模新翻譯模型在32個全世界最好的商用gpu上訓練了一整天,而1/8個tpu pod一下午就可以完成這項任務……

tpu-2 pod包含由多個tpu-2處理器組成的tpu-2板。根據谷歌公告中的零星技術資訊以及幾張**,我們可以推測,每個晶元上的快閃儲存器可能存在連通性,單個的tpu-2之間可能共享快閃儲存器狀態。

第二代tpu基礎設施提供多達256個晶元,它們連線在一起可以提供11.5千兆次的機器學習運算能力。谷歌接受alpha版本試用申請,不過,申請表單和研究人員的免費試用表單相同。目前,還不清楚下一代tpu是否會用在類似cloudml這樣在gpu上執行模型訓練的服務中。不過,該服務不只限於tpu。該gcp特性

讓使用者可以在競爭對手的晶元(如英特爾的skylake)或gpu(如nvidia的volta)上構建自己的模型,然後將專案遷移到谷歌tpu雲上做最後的處理。

對於tpu-2相對於第一代tpu的效能提公升,現在還很難做出充分的比較,因為它們的特性集和底層數學操作原語不同。第一代tpu沒有使用浮點操作,而是使用乙個8位的整數近似地表示浮點數。現在還不知道谷歌是否提供近似方法將浮點運算效能轉換成8位整數,用於定量分析的浮點運算估計。

谷歌最新的大規模翻譯模型在32個「最好的商業gpu」上需要訓練一整天,而1/8個tpu pod一下午就可以完成這項工作……每塊板子的最大峰值吞吐量為每秒45萬億次浮點運算,如上所述,系統板每秒總計180萬億次浮點運算,峰值效能可達11500萬億次。

能夠訪問快閃儲存器以及可以在同樣的硬體上提供訓練和服務的能力會影響谷歌和其他晶元組生產商的競爭關係,因為amd的vega radeon instinct gpu加速器既可以直接訪問快閃儲存器,也可以提供ml訓練和服務。

蘋果發布第二代平板電腦 iPad 2

蘋果公司週三最終發布了下一代平板電腦 ipad 2。蘋果公司稱,新產品比上一代產品薄33 它採用新的a5晶元,並且將推出白色外殼。蘋果公司表示,ipad 2將從3月11日開始在美國銷售,從3月25日起在其他26個國家銷售。與上一代產品一樣,入門級產品售價499美元。基本配置是wi fi功能,記憶體 ...

蘋果發布第二代平板電腦 iPad 2

蘋果公司週三最終發布了下一代平板電腦 ipad 2。蘋果公司稱,新產品比上一代產品薄33 它採用新的a5晶元,並且將推出白色外殼。蘋果公司表示,ipad 2將從3月11日開始在美國銷售,從3月25日起在其他26個國家銷售。與上一代產品一樣,入門級產品售價499美元。基本配置是wi fi功能,記憶體 ...

蘋果發布第二代平板電腦 iPad 2

蘋果公司週三最終發布了下一代平板電腦 ipad 2。蘋果公司稱,新產品比上一代產品薄33 它採用新的a5晶元,並且將推出白色外殼。蘋果公司表示,ipad 2將從3月11日開始在美國銷售,從3月25日起在其他26個國家銷售。與上一代產品一樣,入門級產品售價499美元。基本配置是wi fi功能,記憶體 ...