諾亞面向語音語義的深度學習研究進展

2021-07-16 01:20:45 字數 747 閱讀 6255

本次演講簡要回顧了深度學習近十年進展,重點介紹華為諾亞方舟實驗室最近兩年內和深度學習相關的研究成果,並**了深度學習的未來趨勢。

深度學習為什麼現在這麼火?大資料、演算法突破和計算能力。演算法上的突破有包括三點:第一點,對多層神經網路做預訓練。第二點,大量標註資料驅動的監督學習和防過擬合技術的結合,例如dropout。第三點,注意力模型。

華為諾亞方舟實驗室在深度自然語言處理研究(deep learning for nlp)領域具有多年的積累。

深度學習還能有哪些突破?從解決實際問題的角度,我們從這三個方面去思考:

自然語言處理,人看起來簡單自然的符號,能否與傳統人工智慧融合。

能否將舉一反三的能力融入到深度學習中?

無監督學習是否能有所突破。

結合我們多年的研究和業界實踐的經驗,目前我們的關注點如下:

攜程技術中心深度學習meetup系列:

深度學習在攜程攻略社群的應用

深度學習在搜狗無線搜尋廣告中的應用

知識圖譜中的推理技術及其在高考機械人中的應用

基於深度學習方法的語音識別研究(三)

前些天在師兄的幫助下,在此感謝工大的薛師兄,實現了blstm的語音識別聲學模型的搭建,由於實驗室存在保密協議,只能提供部分 還望各位同學體諒,如下 coding utf 8 author zhangwei import tensorflow as tf import numpy as np file...

極限元語音演算法專家劉斌 基於深度學習的語音生成問題

一 深度學習 在語音合成中的應用 語音合成主要採用波形拼接合成和統計引數合成兩種方式。波形拼接語音合成需要有足夠的高質量發音人錄音才能夠合成高質量的語音,它在工業界中得到了廣泛使用。統計引數語音合成雖然整體合成質量略低,但是在發音人語料規模有限的條件下,優勢更為明顯。在上一期我們重點介紹了深度學習在...

深度學習基礎 當前研究的挑戰

1 rnn難以訓練。有 表明大量不同的rnn架構,其表現力是同等的,任何效能上的差異都是由於某些架構比其他架構更容易優化導致的 2 無監督難以訓練,因為模型的輸出通常 但不總是 更大 例如,1024 x 1024畫素,巨大的語音和文字序列 3 gan難以訓練,但對目標函式進行了修改。原來jensen...