位元組跳動開源AI訓練引擎

2022-10-03 09:21:11 字數 480 閱讀 7308

【techweb】6月28日訊息,今日程式設計客棧,位元組跳動火山翻譯團隊宣布推出lightseq訓練加速引擎,並向全球開發者開源。

transformer是自然語言處理、計算機視覺等ai技術領域最常用的基礎模型,被廣泛應用在機器翻譯、文字生成、文字摘要、影象處理、時間序列**等任務中。訓練和推理則是ai技術的兩個主要過程,相當於學習知識和解決問題。

據悉,lightseq訓練加速引擎能夠支援transformer的完整加速,從詞嵌入層、編碼層、解碼層,www.cppcns.com到最後的損失函式層,業內首次實現了全流程支援。而且lightseq的訓練速度極快,相比主流的序列生成庫,lightseq最快只需要三分之程式設計客棧一的時間就能完成訓練。

根據公開報道,位元組跳動現在已經開程式設計客棧源了機器學習平台klever、聯邦學習平台fedwww.cppcns.comlearner、高效能分布式訓練框架byteps等重磅專案。

本文標題: 位元組跳動開源ai訓練引擎

本文位址:

位元組跳動開源分布式訓練框架BytePS

位元組跳動開源了通用分布式訓練框架byteps,這個框架支援tensorflow keras pytorch mxnet,可以執行在tcp或rdma網路中。官方介紹稱,byteps大大優於現有的開源分布式訓練框架。例如,在相同的條件下,byteps的訓練速度是horovod nccl的兩倍。byte...

位元組跳動宣布加入「開源發明網路」

今天,位元組跳動宣布加入 開源發明網路 open invention network,簡稱 oin oin 是全球最大的專利不侵犯聯盟,它保護 linux 和相關的開源軟體以及它們背後的公司免受專利攻擊和專利巨頭的影響。oin 最近擴大了其範圍,從核心的 linux 程式和相wvejbvpv鄰的開源...

位元組跳動開源微服務中介軟體CloudWeGo

techweb 9月10日訊息,日前,位元組跳動正式宣布開源cloudwego,這是一套以go語言為核心 專注於微服務通訊與治理的專案集合。目前,cloudwego有四個專案集合 1 kitex kitex是位元組跳動研發的下一代高效能 強可擴充套件的golangrpc框架。除了具備豐富的服務治理特...