AI專家警告 GPT 3令人讚嘆,但缺乏透明度

2022-07-16 08:33:07 字數 3547 閱讀 2620

ai專家警告:gpt-3令人讚嘆,但缺乏透明度

那個帖子是這樣的:「要想把事情做好,也許我們根本不需要想太多。這似乎有悖常理,但我相信有時想得多了反而會阻礙我們的創造力。」

openai之所以可以實現如此高效的演算法,是因為它能夠訪問鉅額計算量和資料,且此演算法本身的容量遠大於已有的所有演算法:最大版本的gpt-3有1750億個引數,這種方程式能幫演算法做出更精準**。gpt-2只有15億個引數。

雖然openai曾公布過它的演算法,但這次它選擇讓gpt-3保持神秘。該公司表示,對大多數操作者來說,gpt-3實在是太大了,對其收費,就能讓openai從中獲利。

在過去的一年裡,openai變革公司結構,使其更能吸引投資者。它放棄了「限制利潤」模式的非盈利定位,這樣如果openai獲利,投資者就能獲得回報。它還與微軟達成了10億美元的合作協議,開啟了兩家公司之間的合作,該協議還允許openai優先訪問微軟的雲計算平台。

研究人員說,他們對openai不公布演算法表示質疑,稱這違背了基本科學原則,且對該公司宣告的核實變得愈發困難。

facebook人工智慧研究(fair)的聯合董事暨facebook蒙特婁人工智慧研究實驗室負責人喬埃爾?皮諾(joelle pineau)在一封電子郵件中說到:「我對目前為止對諸如gpt-2/gpt-3和alphago這類**不共享的所有爭論持懷疑態度。在人工智慧領域,有很多類似情況。」

gpt-3的核心是個非常強大的英語寫作工具。gpt-3最重要的是它的規模,它通過分析45萬億位元組的資料學會了寫作。報道稱這個訓練過程在雲計算上花費了數百萬美元,它見證了人類數以億計的書寫組合。

這是openai長期戰略的關鍵部分。多年來,該公司一直表示,深度學習演算法的規模越大越好。資料越多,計算能力越強,演算法的能力就越強。openai就是因為具備同時在數百個gpu上訓練演算法的能力,才在《刀塔2》中擊敗了職業電子競技玩家。

openai的領導曾表示,openai的政策主管傑克·克拉克(jack clark)認為演算法越大,則「越有條理,越有創造力,也越可靠」。在談到《刀塔2》機械人需要的訓練量時,首席技術官格雷格·布羅克曼表示:「等運氣耗盡,我們期待一場棋逢對手的比賽。」

gpt-3採用了類似方法。openai認為,演算法更大意味著引數更多,就能進行更普遍的操作。例如,gpt-3最基本的功能是自動補全,給它乙個詞或句子,它就會逐字逐句地生成它認為接下來該出現的詞句。不必對演算法進行任何修改,它也能回答問題,甚至進行翻譯。這與只能處理一項任務的專項微調演算法不同。

有人認為,這向人工智慧的聖杯——通用智慧型邁出了一步,它意味著演算法可以像人類一樣學習和適應;而另一些人則表示,演算法仍不能真正理解它生成的話語。

openai發布了一篇詳細的研究報告,解釋了該演算法的架構和它所取得的結果,而當涉及到gpt-3的功能研究時,其他人工智慧研究人員只能選擇相信openai。這家研究公司最近不再以非盈利為定位,開始籌集資金開發商業產品,它不再像過去一樣公布演算法。

2023年2月,openai宣稱,前一最大版本gpt-2演算法有可能生成錯誤資訊或虛假新聞,太過危險不便發布,這一宣告引來了很多質疑。公司先行發布了簡易版的gpt-2,並未發現濫用跡象,才最終發布了最大版本演算法。現在,與其說gpt-3太危險,不如說它似乎太有利可圖而不能發行。

gpt-3只能通過openai執行的api訪問,這與亞馬遜、谷歌和微軟等公司的演算法變現方式相類似。開發者可以編寫程式向gpt-3傳送特定指令,gpt-3在openai的雲端中生成響應並回傳結果。雖然api在內測期間免費,但openai正在考慮長期定價。這意味著研究人員只能向演算法傳送特定命令,而openai可以隨時取消訪問許可權。

openai將這種做法歸結於對安全和規模的考慮。如果該公司發現有人濫用api做了諸如支援假新聞**的事情,那麼它可以取消該開發者的訪問許可權。

該公司還表示,這些演算法規模龐大,執行成本高昂,更別提開始訓練後的花銷。「這使得任何除大公司以外的使用者都很難從底層技術中獲益。我們希望api能讓小型企業和組織更容易地使用強勁的人工智慧系統。」

由於雲計算的計價方式,openai訓練和操作演算法的確切成本很難核算。租賃gpu的成本根據特定伺服器區域的地理鄰近程度,以及基於專案規模的協議費率等因素的不同,差別很大。由於openai為完成任務將其中部分資金用於建造自己的超級計算機,它可能從與微軟的10億美元合作中受益。

但是這些限制,即規模和缺乏透明度,使得其他科學家很難複製和驗證該演算法的有效性。

儘管涉及風險投資和企業利益,人工智慧仍然是研究電腦科學的乙個途徑,且這種科學方法仍然適用。最好的科學實驗,比如建立乙個演算法來成功完成一項任務並證明乙個假設,是可以複製的。

皮諾是可複製電腦科學的熱心支持者,她認為像gpt-3和alphago這樣尚未公布的演算法是「科學文物」。她在電子郵件中說到:「這有點像挖出的恐龍骨頭,它為你提供了支援某些理論的證據,但與實際進行實驗是不一樣的。」皮諾表示,這些「文物」有助於提出未來的研究假設,但它們仍然不能替代確鑿的知識。

很多人擔心,通過限制對**和受訓演算法的訪問,人工智慧的「民主化」,即任何人都可使用人工智慧,會受openai威脅。「使用人工智慧」這一用語是多層面的,意思是使用計算能力、資料集以及演算法本身。諸如谷歌的tensorflow和臉書的pytorch這類開源框架使得演算法易於構建和共享,還存在其他很多開源資料集。

然而,計算能力來自硬體,是一種有限的物理資源,大公司和像openai這樣資金充足的研究機構更容易獲得該資源。

如果openai的實驗被證明是人工智慧的發展方向,同時演算法的擴大轉化為效能的提高,那麼消費不起先進人工智慧的人就無法使用它了。這還會允許擁有資源的大公司制定規則,決定誰有權使用某些人工智慧演算法。例如,他們可以利用api進行設定,並對訪問和使用演算法進行收費。

喬治亞理工學院(georgia institute of technology)研究自然語言處理的人工智慧教授馬克·瑞德爾(mark riedl)表示:「如果確信實現更好人工智慧的方法實際上是實現更大規模,那麼誰能擁有更優人工智慧就由openai決定了。」

瑞德爾對openai是否會監視其新api的所有使用情況,以確定是否被用於惡意目的表示質疑,openai曾花了大量精力來思考它的演算法會如何被濫用。「openai是否會檢視輸出,以判斷他們的技術是否得到恰當使用?鑑於其宗旨,以及這與他們新盈利模式相衝突,這似乎很關鍵。他們能做到大規模監控嗎?」

並非所有人都認同openai「越大越好」的方法是人工智慧的發展方向。例如,自然語言處理研究人員梅拉妮·公尺歇爾(melanie mitchell)就對gpt-3進行了「模仿」測試,要求演算法識別特定字母序列的變化模式。如果「abc」變為「abd」,那麼「efg」會變成什麼?

上世紀80年代,公尺歇爾開發了一種演算法來解決這類人類一直以來所進行模擬的微型模擬測試。要正確地進行模擬,必須理解所有元件之間的關係。在字母表的例子中,演算法必須了解字母表的順序和每個字母的位置。雖然該演算法在眾多測試中表現良好,但公尺歇爾發現,它也無法掌握其他演算法數十年前已掌握的一些簡單概念。

公尺歇爾說:「在研究方面,我個人認為,在乙個問題上投入過多的計算和引數可能會把人工智慧逼進死胡同。如果我們的目標是製造強大、具有普遍智慧型的機器,我認為這無法取得真正的進展。」

她承認,在製造需要深度學習的人工智慧產品時,龐大的計算能力讓科技巨頭獲得優勢,但反之並不是所有現代問題都需要高能耗的深度學習演算法,不是解決每個問題都需要達到gtp-3的規模。

公尺切爾在測試該演算法時寫道:「gpt-3的效能令人驚嘆,但它也和當今最先進的人工智慧系統中的很多情況類似:似乎很智慧型的效能中夾雜著一些非人類錯誤,而且我們搞不清楚它表現好或犯錯誤的原因。」

專家警告慎用Google 小心美國文化侵蝕年輕一代

法國國家圖書館館長jean noel jeanneney一直對美國流行文化不斷入侵當代法國人的生活感到憂慮。去年12月,當他讀到google打算掃瞄1500萬本英文書籍成數字書籍並擺放上網的新聞的時候,不禁發出了警告。在他看來,google此舉將進一步增強美國在全球文化風潮上的影響力。我絕非反美主義...

如何不知不覺變身AI專家?

原文 you could become an ai master before you know it.here s how.翻譯 lloog 譯者注 未來幾年人工智慧會如何發展?除了阿爾法狗令人嘆為觀止的表現,人工智慧確實也正在改變整個行業。但有一點我們是需要注意的,有必要讓ai從總體上變得更加易...

安全專家警告 安全測試工具可能被黑客利用

4月9日訊息 安全領域的公認名言是,攻克安全屏障的易用指令碼 所謂利用 是對網際網路的威脅。metasploit專案和它的發起人moore希望改變上述看法,該專案近日發布了對metasploit工具的公升級設計框架,metasploit工具可以讓安全專家檢查網路上的電腦,並且確認易遭受新發現缺 陷攻...