演算法工程師的危機

2021-09-08 05:24:53 字數 3174 閱讀 4397

9月20號訊飛ai同傳語音造假的新聞刷爆科技圈,科大訊飛股價應聲**3.89%(不是65.3%,標題黨文章害死人)。 吃瓜群眾紛紛感慨,有多少人工,就有多少智慧型。

nips會議,人滿為患,改改網路結構,弄個啟用函式就想水一篇*****; 到處都是ai演算法的培訓廣告,三個月,讓你年薪45萬!在西二旗或望京的地鐵車廂裡打個噴嚏,就能讓10個演算法工程師第二天因為感冒請假。

誰也不知道這波熱潮還能持續多久,但筆者作為一線演算法工程師,已經能明顯感受到危機的味道: 以大紅大紫的影象為例,影象方向簡歷堆滿了hr的辦公台,連小學生都在搞微控制器和計算機視覺。在筆者所在的公司,人工智慧部門正在從早前研究院性質的組織架構分別向前臺和後台遷移:前者進入業務部門,背上繁重的kpi,與外部競爭者貼身肉搏;後者則完全融入基礎架構,像資料庫一樣普通和平凡。之前安逸的偏研究生活被打破, ai早已走下神壇。

以筆者愚見,對於一般的演算法工程師,這種危機包含兩部分:一方面是來自人的競爭,大量便宜的畢業生和培訓生湧入這個行業,人才缺口被迅速填滿甚至飽和,未來的競爭會更激烈;另一方面則是來自機器的競爭,大量演算法工程師會很快被他們每天研究的演算法所代替。 這兩者互相惡化,ai人才市場終會變成一片紅海。

工具和框架本身的發展,讓設計模型所需的**寫得越來越簡潔。10年前從頭用c++和矩陣庫實現梯度下降還是有不小的門檻的,動輒上千行。而當今幾十行keras甚至圖形化的模型構建工具,讓小學生都能設計出可用的二分類模型。強大的類庫吞噬了知識,掩蓋了內部的複雜性,但也給從業者帶來了不小的惰性。從業者的技術水平,和使用模型的複雜程度關係不大,越是大牛,用的技術更底層更make sense。

不僅如此,深度學習本身的性質,造成了明顯的數學鴻溝。與svm, 決策樹不同,由於模型存在大量的非線性和複雜的層次關係,且輸入訊號(例如影象,文字)也很複雜,因此嚴格的數學論證是需要極高的抽象技巧的。該方法為什麼好,在什麼型別的資料上好,有時連作者都在拍腦袋,很多state of arts的方法,成了口口相傳的經驗和trick,而非嚴謹的theory。 連batch normlization(批規範化,只包含四個初中數學級別的簡單公式)為何有效,都被爭論了好幾年。只有鳳毛稜角的專家,能深入到模型最深處,用數值分析和理論證明給出嚴謹的答案。 大部分人在入門後便進入漫長的平台期,美其名曰引數調優,實際就像太上老君煉丹一樣。

我們把這種現象繪製成下面的ai學習曲線,左側是稍顯陡峭的入門期,需要學習基本的矩陣論,微積分和程式設計,之後便是漫長的平台期。 隨著複雜性越來越高,其學習曲線也越來越陡峭,大部分人也就止步於此。 越來越易用的工具,讓曲線左側變得平坦,入門期變短,卻並不能改變右側的陡峭程度。

入門容易深入難,這條曲線同時也能描述ai人才的收入水平。而真正處於危機的,莫過於夾在中間的芸芸眾人:對理論一知半解,對工具非常依賴。可替代性很強,一旦ai浪潮過去,就知道誰是在裸泳

市場和業務變化越來越快,能有哪些核心業務,是能讓工程師靜心調個一年半載的呢?當乙個從培訓學校裡出來的人都能做模型時,有多少業務能讓公司多花兩三倍的人力成本,而僅帶來1%的效能提公升呢?

面向大眾ai科普節目,最常討論的便是「ai時代如何不被機器所取代」。很不幸,最容易且最快被取代的反而是演算法工程師。

以前需要大力氣搭建的資料回流和**的鏈路,已經成了公司的基礎元件,資料工程師沒事幹了; 特徵可以自動生成和優選,特徵工程師失業了; 深度網路採用經典結構即能滿足一般業務需求,引數搜尋在automl下變得越來越方便,調參工程師的飯碗也丟了 。 此處引用老闆經常說的一句話:機器都能幹了,要你幹嗎?

從目前ai熱門**的情況看,廣告推薦領域已經逐漸成熟,很多技巧沉澱為一整套方**,已進入平台期;下乙個即將被攻陷的領域應該是影象;而文字由於其內在的抽象性和模糊性,應該是演算法工程師最後的一塊淨土,但這個門檻,五年內就會有爆發式的突破(本文發布兩周後,谷歌bert橫掃11項nlp任務記錄,麻蛋)。

人工智慧已經火了至少五年,它在未來五年是否火爆我們不能確定,但一定會更加兩極化:偏基礎的功能一般程式設計師就能搞定,像白開水一樣普通。而針對更複雜模型甚至強人工智慧的研究會成為少數人的專利。

在一般的技術公司,傳統意義的軟體開發和產品設計,遠比ai演算法的需求來的多。演算法永遠是錦上添花,而非雪中送炭,再好的演算法也拯救不了落後的業務和商業模式。一旦經濟下行,企業首要乾掉的就是錦上添花且人力成本較高的部分。

如果你是頂級的演算法專家,這樣的問題根本不需擔心。但是,對大部分人來說,如何找到自己的梯度上公升方向,實現最優的人生優化器呢?

//此處該插播廣告,**最少1萬吧

//但沙漠之鷹就是有節操,不插,不插,就是不插。

筆者給出一些不成熟的小建議,供讀者拋磚引玉:

首先是深入原理和底層,類似tensorflow的核心**至少要讀一遍吧?就算沒有嚴格的理論基礎,最起碼也不能瞎搞啊。 切莫不能被工具帶來的易用性迷惑雙眼。要熟悉工具箱裡每種函式的品性,對流動在模型裡的資料有足夠的嗅覺,在調參初期就能對不靠譜的引數快速剪枝。

其次,工程能力不能丟,筆者見過太多做演算法眼高手低的例子了(比如自己):乙個檔案寫所有,毫無架構和封裝;遍地是臨時方案和trick,前人挖坑後人栽;穩定性考慮不足,導致線上服務經常掛掉。 沒有工程和架構的積累,在團隊作戰時可能還不是太大問題,單兵打天下則處處碰壁。

按個人理解,做演算法帶來的最大收穫是科學精神和實驗思維,這是做工程很難培養出來的。以前看**看了introduction和模型設計,草草地讀一下實驗結果就完事兒了。殊不知ab實驗設計很可能才是**的核心:實驗樣本是否無偏,實驗設計是否嚴謹,核心效果是否合理,是否能證明**結論。也許一行**和乙個引數的修改,背後是艱辛的思考和實驗,做演算法太需要嚴謹和縝密的思維了。即使未來不做演算法,這些經驗都會是非常寶貴的財富。

再者是盡早面向領域,面向人和業務。ai本身只是工具,它的抽象性並不能讓其成為各個領域的靈丹妙藥。 如果不能和ai專家在深度上競爭,就在業務領域專精深挖,擁有比業務人員更好的資料敏感度,成為跨界專家。現在已經有大量ai+金融, ai+醫療,ai+體育的成功案例。 人能熟悉領域背後的資料,背後的人性,這是機器短時間內無法代替的,跨界帶來的組合**,也許暗含著危機中的機會吧。

演算法工程師的生存危機,字字到位

日曆翻到了新的2019,ai 熱潮還在繼續。但許多一線演算法工程師,已經能明顯嗅到危機的味道 一方面是來自人的競爭,大量畢業生和培訓生湧入這個行業,人才缺口被迅速填滿甚至飽和 另一方面是來自機器的競爭,部分演算法工程師正在逐漸被他們每天研究的演算法所代替。工具和框架本身的發展,讓設計模型所需的 寫得...

演算法工程師

演算法工程師方向也各有不同吧,說下訊號處理主要是調研也就是看 演算法 和驗證,也就是寫 最後還有除錯了。發布於 2016 06 20 所謂演算法工程師,大致的工作範圍是演算法研究 工程實現兩部分,不同的人在不同的環境下各有側重。第一部分,在目前國內網際網路公司的環境裡,說演算法研究,其實更多的工作是...

devops工程師 DevOps工程師的認證

devops工程師 devops的團隊欣賞使用devops的過程 尤其是在多 和混合雲基礎架構,原因是多方面的。一方面,devops打破了障礙,使敏捷軟體開發和it運營的持續交付成為可能。它在企業中也很流行,因為它可以通過數位化轉型幫助加速業務成果。隨著敏捷實踐和流程深入企業內部,具有擴充套件框架知...