人工智慧時代,一不小心人人都是黑客

2021-09-13 02:48:06 字數 3507 閱讀 5638

今天,我跟大家分享的題目是人「攻」智慧型,「攻」是攻擊的攻,其中包括了我這麼些年工作的感悟,我想先從傳統科班的人工智慧說起。

這個小測試就是,你們認為右邊回答的兩個人,小花和小明,誰是正常的人類?在公布答案之前我想和大家說一下,其實大家做了乙個非常典型但不那麼嚴謹的圖靈測試。

上世紀50年代,當時的人工智慧之父圖靈提出乙個測試機器是否具備人類智慧型的方法。他提到,如果我們同時和乙個看不見的人及機器(通過敲鍵盤)進行提問式的交流,如果30%的成年人無法在5分鐘內判斷對面是人還是機器,我們認為那台機器已具備了人工智慧。

如果等會兒答案揭曉時,如果你發現自己錯了,那說明我們的人工智慧已經像人類了。

大家看一下,小明才是機械人,我們都認為他像乙個正常的人類對不對?

人工智慧

人工智慧發展到現在已有了一些有意思的成果。對計算機來講,如果要像人一樣思考,具備人一樣的智慧型,就有乙個最重要的領域需要去搞定。

我們要知道,人對資訊的處理70%來自於我們的眼睛,但對計算機來講它只有0和1,計算機從一張看到的只是畫素上的數值,它無法看到沙發上的一條線,更無法很快理解,那可能是乙個大人帶著兩個小孩兒、乙隻狗在看電視。

如果我更近一步提問,坐在前面的那個小屁孩上衣是什麼顏色?對計算機來說,什麼是小屁孩?什麼是前面?什麼是上衣?什麼是顏色?它完全無法理解。所以,在人工智慧被提出多年之後,它在視覺領域還存在困難。

要知道,我們人出生後要用眼睛看世界。如果把眼睛比作計算機的話,每200毫秒我們就拍一張**。大家想一下,從我們睜開眼睛看世界開始,到今天拍了多少這樣的**,才能夠看懂看明白?所以呢,我們希望訓練計算機它也具備這種能力。

在2023年時,最好的人工智慧計算機識別圖形的錯誤率在20%到30%,比人類差。但在2023年至2023年,斯坦福有個博士通過自己的研究,使這個錯誤率降低到接近人類的水平。這是一項非常了不起的成就,他在其中使用到我們稱之為「深度學習」的技術。

通常我們要告訴機器一萬遍,這是貓這是貓這是貓,它才知道這長得像乙隻貓;但到了2023年,谷歌不用再告訴機器什麼是貓,而是可以直接問什麼是貓,讓它自己把貓找出來,這是一項讓人工智慧領域科學家都非常佩服的成果。

看到這樣的科技成果,說實話我也很興奮。但是今天我演講的主題是什麼呢?人「攻」智慧型。在感受到人工智慧興奮的同時,我也看到或是瞎想出來一些風險。

攻擊樣本

我一直從事的專業是it技術,嚴格意義來說,是資訊保安或大家俗稱的「黑客」,2023年是我進入這個行業的第19年。

在2023年我們組建了乙個叫keen的團隊,隨後幾年,我們的團隊在世界黑客大賽上拿過幾次冠軍。我們又成立了乙個黑客賽事平台,叫geekpwn。在這個平台上,大家能夠看到,所有你們身邊的攝像頭、手機、pc、路由器、智慧型門鎖、無人機、機械人、pos機全被我們黑完了。

你們可能會問我們要幹什麼?其實我們這樣的叫做白帽黑客,我們希望幫助廠商發現問題,然後加以修復,讓產品變得更加安全。這些被黑掉的產品裡就有汽車,我一直在想,還有沒有別的更酷的方法,去幫助提公升它的安全性呢?

大家回到剛才看的這個車。通過深度學習,它的智慧型系統可以識別出道路前穿白襯衫的那個人。我當時產生了乙個想法:如果我堅持讓汽車認為那是乙個消防栓或是一棵樹,在緊急情況下,它就會撞上去,這就相當於黑掉它的系統。

這可要比黑掉pc大螢幕更酷。那有沒有可能辦到呢?說實話,我們過去從事的是傳統的安全領域研究,對人工智慧這一塊並不了解,但興趣使然我們想去學習一下,看能不能做到這一點。這就像我們挖漏洞、利用漏洞的過程,同樣是教給計算機一堆攻擊樣本,這會產生什麼結果呢?

大家先看我們輸入乙個正常的樣本要得到什麼?要得到乙個正確的決策。可是在攻擊裡面,我們輸入乙個攻擊的樣本,就希望它能得到乙個錯誤的行為,這種辦法能不能在人工智慧領域行得通?

人「攻」智慧型

在去年geekpwn美國戰的時候,剛好有一位世界級的人工智慧大師發現了這個成果。你們看,左邊是一條小狗,對於現在的人工智慧來講,識別它非常容易。但這張小狗又不是小狗,它是經過特製的,當下最成功的人工智慧識別系統堅持認為這是乙隻鴕鳥。

左邊這張圖大家依然看不到任何資訊,全都是噪點對不對?但當我們交給人工智慧時,它堅持認為這是一張熊貓。我們又一次誤導它出現錯誤的決策,這給了我們信心,就是我們假想中的錯誤真的可能導致錯誤決策,就是攻擊樣本。

去年微軟推出乙個智慧型聊天機械人,它能和我們正常交流,可是沒過多久就下線了。為什麼?因為它在第一天下午就開始跟人罵髒話了,說種族主義的東西。為什麼能這樣呢?因為上午就有人用這種話來跟他交流,他以為這是人與人之間正常的交流方式。

所以我產生了乙個想法,在人工智慧時代,真的可能一不小心人人都是黑客。黑客不需要寫任何**,也不需要像我們有十幾年的安全經驗,它就可以成功地把人工智慧給欺騙了,這說的是語言領域。

其他領域呢,大家來看一下,這是乙隻機器狗,這是乙個機械人,他們來自於美國的波士頓動力公司,他們能夠像人類或是動物一樣去行走,在行進過程中,自己摸索出調整平衡的方法,這是一項非常了不起的產品。

我在想,如果有一天這些機器狗、機械人認為,我**一下、踹你一下,是跟和你握手一樣的友好行為怎麼辦?機械人會不會威脅到我們呢?我可能是杞人憂天,但是站在黑客的角度,我們習慣性從壞人角度看問題。

人工智慧從上世紀50年代發展到現在,非常像《速8》裡的那個小孩,我們希望他能夠成長成像他父親一樣那麼強壯、智慧型的男人。

保護人類

可是這一天會不會受到干擾呢?我們現在做的工作,就是希望能夠幫助人工智慧安全健康地成長。我們一直嘗試用壞人的視角看問題,幫助我們做出更安全的產品。

我們擔心什麼?不知大家有沒有看過一部叫《超能查派》的電影,看這電影時我感觸非常深。它講乙個機械人剛出生就被劫匪從實驗室劫走了,過了幾個月,大家看到它帶著金項鍊、舉著手槍、罵著髒話、搶別人錢。為什麼呢?因為它被帶到貧民窟,它認為這才是正當工作。

我們期望人工智慧改變我們的生活,但我們更認為自己有必要幫助它健康成長。我特別希望有更多的人投入到這份工作,或者說黑客事業上來。

人工智慧領域分為兩派,一派是樂觀主義,另一派是悲觀主義。悲觀主義認為,人類正在自取滅亡,他們正在做乙個可能超越人類,某一天將危及人類安全的裝置。持悲觀觀點的人不僅有我,還有霍金、埃隆·馬斯克、比爾·蓋茨……

發布網際網路行業公會 www.internetcaff.com

一不小心實現了RPC

隨著最近關注 cim 專案的人越發增多,導致提的問題以及 bug 也在增加,在修復問題的過程中難免 潔癖又上來了。看著一兩年前寫的東西總是懷疑這真的是出自自己手裡嘛?有些地方實在忍不住了便開始了漫漫重構之路。在開始之前先簡單介紹一下cim這個專案,下面是它的架構圖 簡單來說就是乙個 im 即時通訊系...

一不小心走上IT這條不歸路

博主已是畢業四年的工作者,回頭想想走過的路,感覺更多的是迷茫和漫無目的。現在是時候該認真考慮以後的路怎麼走,怎麼規劃了。踏進校園的第一天就開始迷茫了,大學的生活想必大多數人都深有體會吧 猶如高考之前煉獄般 缺少自由的困獸一下子脫了韁,回歸大自然。肆意的放縱,揮霍青春,好似對高考的報復。再加上對計算機...

一不小心,老司機又翻車了

這幾天一直忙著往proxmox集群裡邊遷移服務,進展還是比較順利。通過整合資源,兩個機櫃的伺服器,下架以後,就剩乙個櫃子了,後邊再遷移一下,還能下架一些舊的配置低的伺服器。因為機櫃電源的限制,迫不得已還得下架一台有公網ip的舊伺服器。為了保證可用性,臨時在一台有redis應用的伺服器上繫結了乙個公網...