有些決策不能,也永遠不該委託給機器

2021-09-20 11:54:06 字數 4339 閱讀 5596

我們正將越來越多的選擇權拱手讓於演算法。

從新的一天要聽什麼歌、哪些人應該拿到社會福利,到學校課程設定、公司併購決定,機器開始支配這些看似瑣碎但重要的抉擇,而我們還沒有意識到,這或許是比「終結者」的到來更嚴重的威脅。

但有些決策不能,也永遠不應該委託給機器。

用演算法來做決策的初衷一定是善意的:提高效率,讓決策迅速獲得資料支援,且保證流程的一目了然。

而在驚嘆於這些讓人眼花繚亂的自動化決策系統的同時,管理層常常忘記乙個最重要的問題:

演算法的引入是減少還是加劇了系統中的不公平因素?這種演算法是否會影響決策——或作為決策的基礎,可能對人們的生活產生負面影響?

由於資料偏差、系統內建偏見,不了解統計資料以及過度信任機器的決策者,還有其他眾多的挑戰,演算法永遠不會給我們「完美」的結果。

那麼,在演算法和你的判斷產生出入時,你將在多大程度上依賴演算法?

影響分析結果的因素有很多。這篇文章將指出,在進行自動化改革之前,所有組織需要考慮的幾個因素。

印第安納州的失敗演算法和100萬受害者

先來看乙個演算法偏差導致的可怕後果。

在印第安納州,乙個演算法將有關福利的不完整的檔案歸類為不合規。

在三年的時間裡,因為這一決定,有100萬人無法獲取食品券,醫療保健和現金福利。

omega young是100萬受害者之一。

在2023年3月1日,她因無法負擔醫藥費而死亡。(在她死後贏得了最終維權上訴,並重新得到她的所有福利金。)

將是否能繼續獲得醫療補助金這一決策留給ai決策,這一事件讓印第安納州在之後飽受詬病。

維吉尼亞的eubanks討論了印第安納州在自動不平等方面(automating inequality)系統的失敗,她寫了一本關於技術如何影響公民、人權以及經濟公平的書。eubanks解釋說,演算法讓機器為我們在棘手的社會問題上做出的決策而不是我們自己做出抉擇,這樣的方式有一種「情感距離」 。

在決定是否進行自動化之前,我們需要仔細審視系統可能影響的人以及判斷影響可能是什麼,並確定當前系統中已經存在的不平等因素。

可用的資料是否真的能帶來好的結果?

演算法依賴於輸入的資料,而且需要正確的資料來確保正常執行。在實施依賴演算法的決策系統之前,組織需要深入研究他們試**決的問題,並且對他們是否有解決問題所需的資料進行一些誠實的思考。

eubanks書中討論了另乙個案例,賓夕法尼亞州阿勒格尼縣的兒童,青年和家庭(cyf)部門實施了一種演算法,為每個報告給該機構的潛在虐童事件中的兒童打乙個「威脅分數」,並幫助案件工作人員決定哪些報告應該進行調查。該演算法的目標是常見的:幫助社會服務機構最有效地利用有限的資源來提供社群服務。

為了實現他們的目標,該縣試圖**哪些兒童可能成為**待的受害者,即「目標變數」。但該縣沒有足夠的關於與虐童有關的死亡率或近似死亡率的資料來構建具有統計學意義的模型,因此他們使用了有足夠資料的兩個變數——社群再轉診cyf的**數和兩年內寄養兒童數,作為兒童虐待數的替代指標。這意味著該縣的演算法可以**兒童再轉診以及寄養的可能性,並利用這些**結果對兒童的虐待威脅打分。

其中的問題顯而易見。

這些替代變數並不是有關虐童資料的有效替代。

首先,它們是主觀的。再次轉診這一變數包含了隱藏的偏見:「匿名以及那些被強制要求的記者報道黑人和混血兒家庭虐童和忽視兒童的頻率比他們報道的白人家庭多三倍半」。

有時甚至是那些兇惡的鄰居,房東,或者家庭成員故意虛假舉報來作為懲罰或報復,正如eubanks在自動化不平等中所寫的那樣,「**模型需要清晰明確的步驟,並且有大量相關資料才能正確執行。」這些標準在阿勒格尼縣尚未完全滿足。不管怎麼說,cyf推進並實施了一項演算法。

這一精度有限的演算法導致了什麼結果?

在2023年出現了15,139次虐童報道。其中,該演算法錯誤**了3633個個案。這一結果無端侵入和監視了數千個貧窮的少數人的家庭的生活。

該演算法是否公平?

缺乏足夠的資料也可能使演算法的應用缺乏公平。

例如,阿勒格尼縣沒有所有家庭的資料;其資料僅從使用公共資源的家庭收集——即低收入家庭。

這導致了一種只針對低收入家庭進行研究的演算法,並且可能產生反饋迴圈,使得進入系統的家庭難以完全擺脫它所需的監管。這個結果冒犯了公平的基本概念。對受到不利影響的阿勒格尼縣家庭來說肯定不公平。

演算法公平有很多評判標準。

演算法是採用相同的方法對待不同組還是對它們分別研究?系統是否為追求公平,公共安全,平等或有效資源配置而優化?

是否有機會讓受到影響的社群參與並影響決策中關於演算法設計,實施和使用的過程,包括關於如何衡量公平性?在演算法造成任何不當損害之前,是否有機會讓那些受到不利影響的人在受到實質性傷害以前能尋求有意義並且迅速的審查?

組織應該對所採用的公平標準保持透明度,並且應該讓各種利益相關者參與公平準則的制定,包括(也是最重要的)將會直接受到影響的社群。如果演算法沒有通過,它就不應該是解決措施。在實施基於演算法決策的系統的情況下,應該有乙個持續的審查過程來評估結果並校正任何不當的影響。

結果如何真正被人類使用?

另乙個組織必須考慮的因素是結果將如何被人類使用。

在阿勒格尼縣,儘管該演算法的「威脅評分」應該作為案件工作者在決定調查哪些家庭之前考慮的眾多因素之一,但eubanks觀察到在實際操作中,演算法似乎在訓練參與的工作者。

根據以往經驗,案件工作者的判斷有助於消除隱藏的偏見。當利用演算法來解決問題,並且個案工作者開始用演算法的結果替代他們自己的判斷時,他們完全放棄了他們的看門人角色,使得系統變得更加階級化並且帶有種族偏見。

演算法決策往往因其超越人類本能的優越性而被吹捧。將機器學習視為客觀和內在的可信趨勢被稱為「自動化的偏見」。當我們嘗試做決策時,無疑會存在許多認知偏差;自動化偏見則又增加其中的複雜度。

正是因為我們是人類所以才存在這種偏見(也包括其他許多方面),如果演算法的結果是做決策時考慮的唯一因素,組織機構必須構建乙個能夠控制自動化偏見的系統。

這包括設計演算法來提供闡述性的報告而不是僅是乙個分數,並確保決策者受過有關統計學以及那些他們要運用的特定演算法的潛在缺點的基礎培訓。

在某些情況下,決策者會偏向演算法的提供的答案的可能性足以阻止演算法的應用。例如,這包括為了確定刑罰而**累犯率。在威斯康星州,法院支援使用compas演算法來**被告的再犯概率,法官是最終做出決定的人。認為法官的「本心」並未受到演算法的負面影響的想法天真不靠譜的,因為人會本能的相信機器。

一項關於演算法風險評估對肯塔基州法官的影響的研究發現,演算法只在很短的時間內影響法官的決策,之後他們就按著以前的習慣行事,但是這些影響可能會因不同的法官群體而有所不同,而且即使是乙個罪犯受到了影響,但由於這種影響使其失去了自由,這也是很嚴重的。

由於判刑這件事情過於重大,以及**再犯率是乙個嚴肅問題(該系統「基本上將黑人罪犯妖魔化,而認為白人罪犯是懷疑有罪」),在這種情況下使用演算法是不適當,不道德的。

受這些決策影響的人會對系統產生影響嗎?

最後,演算法應服務於受其影響的群體,而不是不擇手段地節省時間和資源。

這要求資料科學家考慮到被影響群體的恐慌和擔憂。但是資料科學家通常遠離那些演算法影響的群體。

正如《數學性破壞**》(《weapons of math destruction》)的作者cathy o'neil在今年早些時候告訴wired時說道:「我們完全阻隔了構建演算法的人與受到它們實際影響的人之間的聯絡。」即使是最好的系統也會注定產生嚴重的意外反作用,無論何時都是如此。

在實施演算法之前,必須要解決資料科學家,組織實施者和受影響群體之間聯絡斷層的問題。

o'neil建議資料科學家可以考慮那些受系統影響的所有利益相關者的關注點,來編制乙個「道德矩陣」,以闡明所有這些相互矛盾的含義,動機和考慮因素,使得資料科學家考慮到他們的設計的深遠影響。

「受影響的群體也應該有機會來評估,糾正和影響這些系統。」

正如衛報指出的那樣,「不良意圖下產生的不良ai是不需要的」。任何基於演算法決策的系統都是如此。即使是最好的系統也會造成嚴重的傷害,特別是當乙個組織不反省,也不考慮使用演算法決策是否合乎道德的的時候。這些問題僅僅是起點,並不能保證在回答這些問題後演算法就能產生公平的結果,但它們是所有組織在實施依賴演算法的決策系統之前應該自問的問題。

原文發布時間為:2018-06-4

vml 有些機子不能顯示

最近,我自己的一台手提電腦重灌了系統,重灌了系統之後,發現 無法顯示開啟web程式中的 圖 查了好多資料,最後發現了問題所有 對比了我自己另一台手提電腦,另一台能正常顯示,二台機器的區別是,能顯示的那台有c program files common files microsoft shared vg...

永遠不能放棄學習

記得有人說過求學的三個境界,第一種 不知道自己不知道 第二種 知道自己知道 第三種 知道自己不知道。最近我迷上了網際網路技術,在這之前網際網路技術對我是個概念,像什麼分布式 集群 nosql 大資料 效能調優 高併發等,去面試或者跟同事討論時,常常雲裡霧裡,在我開始著手學習時,發現這些概念慢慢清晰起...

頁面不能顯示資料有些發現

頁面不能顯示資料,我發現是跟服務啟動有關係的.頁面的配置引數由服務自己生成,放在sysconfig檔案中,頁面上的資料是通過讀這個檔案得到的.當我把建立這個檔案資料的 改掉之後,換成自己要顯示的資料,啟動失敗了,ip位址等一些資訊都沒有,服務是起來了,但什麼也做不了.我已經把要用到的ini檔案巢狀進...