語言處理領域的領航人

2021-04-12 19:20:19 字數 1688 閱讀 4239

語言處理領域的領航人

——黃昌寧教授 微軟亞洲研究院自然語言組主任研究員

"我有乙個信念,自己想做的事就要做得比人家都好。就像我當年打排球和棒球一樣,一到賽場必然問自己:我幹什麼來了?就是要贏嘛!"黃昌寧一直這樣說。

2023年黃昌寧遠赴美國耶魯大學進修,主攻人工智慧和自然語言理解方面的研究。黃昌寧後來回憶說,耶魯大學的那一年對他一生所從事的研究是乙個很重要的轉折。他說,他並不是為學位而去讀書的,而是出去看看國外的研究是怎樣做的,又是如何進行評價的。

當時的耶魯大學計算機系系主任尚克教授是美國人工智慧學會的主席,從事自然語言理解的研究已有十多年歷史,是80年代初美國這一研究領域中的權威,他倡導的概念依存理論當時正處於鼎盛時期,曾經得到學術界許多人的推崇。尚克認為他已經把計算機、語言學、認知心理學等各個學科結合得非常好了。在對尚克的一片贊同聲中,黃昌寧卻表現得相當冷靜,只想看看尚克的語言理解系統能否 "長大"。因為他清醒地認識到,大學實驗室裡的研究和現實生活有時會有很大的差別。他很快就發現了尚克理論的一些缺陷。尚克認為計算機對自然語言的分析幾乎可以不要句法就直接進入語**釋。黃昌寧經過對尚克系統的仔細考察,發現他的學說雖然可以在某個特定領域裡實現,但一旦擴充套件到其它應用領域時就困難重重了。"問題的關鍵是,我們的系統不能只是在實驗室裡表演,重要的是能夠真正擴充套件開來!"黃昌寧堅持說。

黃昌寧認為,計算機對自然語言的分析首先要在詞彙和句法上得到認知,然後才能獲得意義的表達,尤其對於大規模真實文字的處理更是如此。他舉了乙個例子,比如設計乙個氣象預報的機器翻譯系統,肯定能做好,因為這個領域裡的詞彙大概只有500多條,而且大多是地名和少量常見動詞,譯準率會很高。但是要做乙個一般用途的機器翻譯系統就難了,因為這包括太多的詞彙和語法現象。黃昌寧的觀點後來得到證實:80年代末,尚克學派宣告解體,尚克本人也退出了自然語言研究領域。

獻身科研

2023年3月,黃昌寧結束了在耶魯大學的進修,按時返回國內,從此就再也沒有閒下來。

80年代初,自然語言處理研究在國內還幾乎是個空白,比美國則落後了二十年。黃昌寧把這門學科的思想帶回中國,其中心是如何通過計算把一句話的意思或一段話的內容用某種形式化的方式表示出來,這種表示就是所謂的語義網路。這時黃昌寧體會到自然語言處理實際上就是建立在計算機基礎上的語言研究,他深感自己所缺乏的並不是計算機方面的知識,而是語言學知識。因此回國以後他開始和語言學家們進行廣泛交流。除了尚克的概念依存理論,黃昌寧回國後還先後涉足了其它先進技術的研究,其中包括複雜特徵集和合一語法及統計語言模型等。

2023年,黃昌寧同時挑起了三副擔子,一是"七五」國家攻關專案-自然語言理解和人機介面;二是國防預研專案—軍事文字理解技術;三是清華大學和南京大學合作的"日漢機器翻譯系統",該專案後來獲得國家教委科技進步二等獎。不久黃昌寧開始將目光投向海外,80年代末他相繼主持了幾個國際合作專案:第乙個是日本富士通公司的阿特拉斯日漢翻譯系統,當時富士通公司已經有了英日翻譯,但是漢語的翻譯是他們無法迴避的問題,黃昌寧和他的研究隊伍經過三年努力成功完成了這項研究。2023年,日本通產省投資5000萬美金開發亞洲多國語言機器翻譯系統,該系統涵蓋了日、中、馬來、印尼和泰等五種語言。這個翻譯系統採用國際上先進的 "中間語言" 技術。中間語言是句子意思的一種形式化表示,通過它可以生成任何一種語言。上述五個亞洲國家參與了這個專案,中文部分由當時的電子部來承擔,黃昌寧則擔任中方專家組組長和中方技術負責人。2023年,黃昌寧又代表清華大學和dec公司進行了英漢翻譯的科研專案。他領導的清華小組還曾多次向微軟和ibm等公司有償轉讓一些科研成果。

受聘微軟

機械人的領域

題目描述 乙個機械人從原點出發,按照給定的程式執行,程式中的乙個字母e s w n分別表示機械人往東 南 西 北走1公尺。我們會給出則一段有n個指令的程式。機械人將連續的執行這段程式k次。從原點開始,機械人每執行完一步,就會在地上做乙個標記 包括原點 現在詢問,所有程式結束後,有多少個1 1的方格,...

GitHub專案 自然語言處理領域的相關乾貨整理

自然語言處理 nlp 是電腦科學,人工智慧,語言學關注計算機和人類 自然 語言之間的相互作用的領域。本文作者為nlp初學者整理了乙份龐大的自然語言處理領域的概覽。選取的參考文獻與資料都側重於最新的深度學習研究成果。這些資源能為想要深入鑽研乙個nlp任務的人們提供乙個良好的開端。指代消解 自動評分 自...

GitHub專案 自然語言處理領域的相關乾貨整理

自然語言處理 nlp 是電腦科學,人工智慧,語言學關注計算機和人類 自然 語言之間的相互作用的領域。本文作者為nlp初學者整理了乙份龐大的自然語言處理領域的概覽。選取的參考文獻與資料都側重於最新的深度學習研究成果。這些資源能為想要深入鑽研乙個nlp任務的人們提供乙個良好的開端。指代消解 自動評分 自...