擔心的事情還是發生了,AI水軍你根本看不出來

2021-09-21 15:50:59 字數 3583 閱讀 4340

無論是中國還是美國,很多人在選擇餐館或者酒店的時候,主要依靠網上的點評,比方說大眾點評或者yelp等等。

某種程度上,口碑已經成為不少企業的命脈,變成服務和產品質量的永久記錄。與此同時,不公平或者虛假的點評也讓企業憂心忡忡,這些有可能來自憤怒的顧客,有可能來自競爭對手。

水軍,在全球都是乙個讓人頭疼的問題,以後可能會更疼了:

人工智慧(ai)已經學會自動編寫虛假點評了。

整個點評口碑界正面臨潛在卻是嚴重的衝擊。如果ai創造的虛假點評氾濫,最終將導致全部點評資訊可信度急劇下降。技術進步,這一次又給社會帶來了(令人擔憂的)影響。

不知道許知遠會不會更焦慮了。

「這對整個社會是乙個巨大的威脅,不但會讓依靠點評資訊的使用者失望,而且會動搖人類對於真實和虛假的信念,我認為後者更讓人擔心」,芝加哥大學電腦科學教授趙燕斌(ben y. zhao)說。

這篇**今年晚些時候會在計算機安全頂級會議acm ccs上展示。

所謂複雜的點評資訊,大概是這個樣子:「我喜歡這個地方。我跟我哥一起去的,我們點了素食義大利面,很好吃。啤酒不錯,服務也很棒。推薦這個地方,是個吃早餐的好去處。地兒小但是買賣大」。

乍一看這個點評沒有什麼奇怪的,裡面包含一些具體的建議和可信的描述,雖然最後一句有點奇怪,但整體仍然是一段說人話的表達。

研究人員表示,ai生成的點評已經做到了「以假亂真」,有600個使用者參與的調查顯示,這些虛假的點評不僅能逃過人類的法眼,而且還被使用者認為「有用」。

「有用」是更可怕的事情:這表明虛假點評已經可以對人類造成影響。

反抄襲軟體也對這些虛假點評無能為力,因為這些點評是逐字生成的,而不是簡單的替換已有點評中的用詞。如果使用反抄襲軟體檢測,不但很難檢測出虛假點評,而且會「誤傷」一大批真實的點評。rnn可不僅僅是對現有點評的複製。

人類手寫的虛假點評,已經是乙個興盛的地下行業。只要有錢,你就能找到人幫你的產品寫下正面的點評,後者給對手寫下負面的評價。

現在,傳統水軍行業未來可能也要被ai取代了。

美國市場上,一段質量較高的yelp點評,可能**能到10美元。不過一旦有了ai的幫助,君心叵測的人可以一分錢不用就生成上千條點評,而且一起放出以免引起懷疑。

好訊息是,現在還沒有ai在現實世界中生成惡意虛假點評的案例。

壞訊息是,構建乙個這樣的人工智慧系統,並不需要太長的時間,所需硬體市面上都能買到,所需的點評資料庫可以在網上輕易獲得。

如果有人開始大規模生產這種假點評,大眾點評、yelp這樣的**恐怕就沒有好日子過了,畢竟,它們的招牌就是來自使用者的真實點評,如果每一條都可能是假的,誰又會繼續相信它們呢?

接下來淪陷的,會是**京東亞馬遜之類的電商,雖然趙燕斌說至少它們還能限制只有買過該商品的使用者才能點評,但情況也不容樂觀。

不過,也有好訊息。

研究者們說,這種假點評也不是完全沒法防範,人類覺得它們能以假亂真,但機器不見得這麼看。用計算機去分析字元的分布等特徵,他們就會發現真假點評之間存在著細微的差異。

假點評是從真實點評裡學出來的,在這個過程中,難免會有資訊流失。假點評注重的是流暢、可信,但像字元分布這種平時沒人關注的特徵,就做得不那麼好了。

「在訓練過程中發生的資訊遺失,會傳遞到生成出的文字中,」研究者們在**中寫道,「因此生成文字和人類文字在基本字元分布上,有著統計上可檢測的差異。」

當然,攻擊者也可以騙過檢測,換好一點的硬體,做更複雜一點的神經網路就行。但這種檢測的意義在於至少提高了攻擊的門檻,為他們設定了一些障礙。

如果攻擊的成本高到一定程度,大部分沒那麼執著的攻擊者也就收手了。趙燕斌說:「這就是一種勝利,所有的安全工作都是這樣,提高攻擊的門檻。你永遠沒辦法阻止那種目標堅定、身手老練的攻擊者。」

在乙份郵件宣告中, yelp發言人rachel youngblade說他們「很欣賞這份研究指出了隨著欺騙點評系統的方法持續進化,越來越複雜,yelp這類大型使用者點評**在保障內容真實性上面臨著重大挑戰。十年來,yelp一直有保護內容的系統,而正因為欺騙手段越來越複雜,我們也持續迭代這些系統,來識別假點評,以及偏頗、沒有幫助的內容。這份研究的作者們以yelp系統作為『真實』的代表,並承認它的有效性,我們非常感激。」

「不過,這份研究創造的僅僅是看起來真實的點評文字,yelp的推薦軟體使用了更整體的方法,除了文字之外,還使用了很多其他因素來決定是否推薦一條點評。如果某條點評沒有價值或有失偏頗,就算它是人類做出的,我們也不會推薦。」

點評是測試文字生成技術的理想場所。這個領域有明確的方向和目的,主體單一,遵循乙個相當標準的結構,而且不長。(虛假點評越長,越容易被發現問題)

但技術不會止步於此。

「它會進步到更大的攻擊,可能部落格上的整篇文章都完全是由機械人根據某個主題自動生成的,這時候你就真的得想想資訊是哪來的、如何驗證……這是我們所有人過些年將要面對的,乙個更大的挑戰。」

趙燕斌說他想傳遞的資訊很「簡單」:「我希望人們能關注這類攻擊途徑,把它們看做真實、迫切的威脅,」如果yelp、亞馬遜這些**的工程師們還沒有開始考慮如何抵禦,他希望他們立刻開始思考。

教授希望「我們希望能吸引更多注意,不僅為了設計出能防禦這類攻擊的系統,還想讓更多人從平凡的視角,看到『好ai』帶來的威脅。」

「我認為,那麼多人都在關注奇點、天網這些引人注目的ai威脅,但是那些很好很好的ai,能帶來很多更實際的、有顯示影響的威脅,而這只是冰山一角。」

他補充說:「所以,我以希望安全界的人能和我一起,關注這類問題,這樣我們才有希望趕上。我認為,ai以驚人的速度和加速度在發展,如果我們不立刻開始研究如何抵禦,可能永遠都趕不上了。」

芝加哥大學趙燕斌教授

最後,來個小測驗吧。

這有六個案例,其中有一些是神經網路生成的虛假點評,其他的是真實的人類點評。你看看是否能分辨出來是真是假。

1、我最喜歡去的義大利餐廳。大愛這家菜品,一切都很棒。我推薦生牛肉配蘆筍。可惜現在名氣太大了,越來越難在**時間預定到座位。

2、我們全家都是這間餐廳的超級粉絲。工作人員非常奈斯,食物很棒。雞肉非常好吃,蒜汁堪稱完美。上面配有水果的冰淇淋也很美味。強烈推薦!

3、每年聖誕節我都來,最愛義大利面!物有所值!

4、非常好的披薩、烤寬麵條以及最好吃的扇貝之一。甜品很大很美味。

5、這的食物好吃得驚人,分量也很大。芝士百吉餅做得非常完美,新鮮又美味!服務很快。毫無疑問是我們最愛的地方!我們還會回來的!

6、我來這吃飯已經一年半了,除了好吃我無話可說。我總是點披薩,義大利牛肉也很好,給我留下深刻印象。服務非常出色。是我見過的服務最好的餐廳。強烈推薦。

你看出哪些點評有問題了麼?

這幾天發生了太多事情。。。可悲。。。

這幾天發生了太多事情。可悲。先是7月22號凌晨4點左右京珠高速客車 41死6傷。緊接著是7月23日晚上20點34分,溫州動車和諧號追尾脫軌墜橋,41死209傷 這個資料值得懷疑。太悲慘了!客車 41死6傷 22日凌晨4點左右,一輛由山東威海開往湖南長沙的嚴重超載雙層大客車,在京珠高速由北向南938公...

在學校發生了許許多多的事情

我恍然大悟的天天 今天的我恍然大悟的天天,大哥哥被打的落花流水,請以責任為話題,在學校發生了許許多多的事情,我被人偷襲了,平時我們過慣了飯來張口,搞好學習,可惡,沒門,今後。下起了冰雹,向醫院方向跑去,身旁的叔叔阿姨也被感動了,想吃士多啤梨,孝敬父母,善待同學,原來是乙個素不相識的天天哥哥,孩子,是...

了解Equals所發生的事情

首先,我推薦大家先看下equals 和 的區別一文再繼續往下看本文 雖然文中有些解釋還是讓人有點感覺不對 因為我就是從園友 一沐陽光的這篇文章中滋生出的問題,才寫的本文。當然你也可以直接看本文,因為我並沒有把本文與它強行聯絡在一起。先來看下面的 1 int i1 8 2 int i2 8 3 boo...