作為AI產品經理,我們到底在優化什麼?

2021-09-20 15:28:03 字數 3347 閱讀 3984

大資料文摘出品

編譯:張強、睡不著的iris、周素雲

使用者體驗與人工智慧(ai)之間有什麼樣的關係?這種關係對產品經理而言又意味著什麼?

這兩個問題非常重要,因為它會影響產品的使用者體驗及其價值主張。

本文作者guy molho,是一位經驗豐富的產品經理。曾經用了15個月的時間,在沒有涉足太多細節的情況下,為b2b公司的客戶成功團隊開發了基於ai的軟體解決方案。

在文章中他提到,產品經理需要了解她的客戶,需要了解自己的工作環境、使命、想要實現什麼以及挑戰,然後才能設計出最能滿足這些需求的目標解決方案。

以下是他對「作為ai產品經理,我們到底在優化什麼?」問題的回答,enjoy☟

對於產品經理而言,ai代表是什麼?

產品必須解決現實世界的問題。技術和實施細節應該為產品服務,並且對可用性的影響最小(至少在軟體層面)。ai是一種解決問題的實現方法,但其**性對使用者體驗和可用性有重要影響。

當一家公司為任何市場或類別設計基於ai的解決方案時,它總要捫心自問,我們為什麼優化產品?我們是否正在優化準確度、陽性**值或命中率?或換句話說,是否能優化精確度或召回率?回答這些問題至關重要,因為它會影響產品的使用者體驗及其價值主張。

作為一家開發基於ai的解決方案的初創公司的產品經理,我每天都會考慮這個問題,並根據決策制定我們的解決方案。

召回率和精確度

召回率和精確度聽起來很熟悉,也許熟悉到忘記它們是什麼!精確度和召回率是統計術語,用於衡量演算法返回結果的關聯。這些術語有官方學術解釋,但我想通過乙個例子來解釋一下。

天氣**

假設我有一台**明天是否會下雨的機器。如果明天下雨,機器返回「是」,如果不下雨,則返回「否」。我們連續100天執行機器並得到以下結果:

現在我們將**結果與實際的天氣進行比較:

在它**下雨的10次中,的確下雨了。**非常精確。有多精確呢? 在10次**中,10次下了雨→10/10。我們的精度為100%。

這是否意味著我有終極的下雨**器?這並不確定。讓我們看看其他90天。

當我們計算下雨天的總數時,我們發現實際上總共有20個下雨天。這意味著什麼?機器召回(**正確)了20個雨天中的10個雨天→10/20→50%。所以它**了50%的雨天,但它也錯過了其中50%。

現在,你認為我的機器仍然很棒嗎?

讓我們考慮極端情況。我的機器壞了,每天它都說明兒會下雨。得到的結果:

現在讓我們再次評估結果:

機器現在不那麼精確了,因為在它總共**的100次中,實際上只下雨了20次→20/100→20%。

但是從真正的20個下雨天考慮,機器正確**了全部20個,即20/20→100%召回率。

答案不是那麼直截了當。也許對於降雨**是這樣,但對於許多其它的基於ai的應用來講,那並非如此。

這也許有些繞,不過沒關係,我建立了混淆矩陣,也許能幫助你對事物分類並計算精確度和召回率:

精確度= tp / (tp+fp)

召回率= tp / (tp+fn)

天氣**—機器a

精確度=10/(10+0) = 10/10 = 100%

召回率=10/(10+10) = 10/20 = 50%

精確度=10/(10+0) = 10/10 = 100%

召回率=10/(10+10) = 10/20 = 50%

天氣**—機器b

精確度= 20/(20+80) = 20/100 = 20%

召回率= 20/(20+0) = 20/20 = 100%

精確度= 20/(20+80) = 20/100 = 20%

召回率= 20/(20+0) = 20/20 = 100%

那麼,你在優化什麼?

現在,當我們真正了解差異時,我們應該如何優化我們的模型和產品? 精確度或召回率?大多數時候我們必須選擇其一,精確度和召回率都高幾乎是不可能的。

優化什麼的決策取決於許多因素:心理、經濟、錯誤成本、遺漏成本、聲譽和時間等等。

讓我們來看三個真實場景並討論一下:

癌症檢測

作為一名患者,你寧願被發現患有癌症並開始**,然後發現沒有患病(假陽性)?還是當已經來不及**時發現你患有癌症(假陰性)?

如果你是健康保險公司,你的答案是否會改變?你會資助所有不必要的**嗎?你會提高保險費以不錯過任何人嗎?作為一名醫生,您是否會冒著聲譽的風險去錯過檢測?

至少作為病人,沒有人想錯過被檢測。因此,當構建檢測癌症的產品時,優化召回率(避免假陰性)將更有意義。

機場安檢

作為乘客,你寧願在漫長的警戒線中等待,以免有危險意外通過安檢嗎?還是更願意快速通過這些檢查,並承擔槍可以走私到飛機的風險?監管者肯定會選擇避免風險。

netflix推薦

我們可以討論幾十個例子,並嘗試了解產品要優化什麼,以及在與之互動時,它如何影響整體的使用者體驗。

客戶流失**

我們開發了一款基於ai的產品,用於**b2b公司的客戶流失。我們使客戶成功團隊能夠將他們的工作重點放在真正重要的客戶身上,並得到更好結果。

優化精確度意味著產品將精確定位乙個非常有針對性的名單,該名單包含面臨流失風險的客戶,且沒有人被錯誤地劃歸其中。朝著這個方向的困難是缺少一堆會流失卻沒被檢測到的客戶。

優化召回率意味著產品將不那麼敏感,並且會生成面臨流失風險的客戶的更長名單,並確保我們不會錯過任何人。這裡的缺點是該列表會包含誤報,即一些不會有流失風險的客戶。

減輕這種情況的辦法是將列表與其他客戶特徵相結合,這些特徵可能會對其風險(例如優先順序)提供更多提示。

因此,作為產品經理,我需要向客戶了解,他們是更容忍假陽性還是假陰性,他們期望從產品中獲得什麼樣的體驗?是否有足夠的資源來處理流失的客戶等等。

相關鏈結

作為產品經理,我是這樣設計登入和註冊的

簡單的事情往往卻很難做好做細,就像乙份炒飯,卻值得周星馳為其拍了一部 食神 卻值得哈林為其唱了一首 蛋炒飯 登 錄和註冊大概是所有線上平台都擁有的功能模組,也是使用者最早能夠接觸到的平台功能,不僅業務流程簡約,而且模組功能單一,甚至設計的頁面也不會超過5個。但是你一定會發現,就是這麼簡單的登入和註冊...

產品經理 誰是產品經理,產品經理到底要做什麼?

最近在看蘇杰的 人人都是產品經理 感悟頗多,特此寫下一點東西,和大家一起分享下。說起產品經理,很多大牛都介紹哥喬斯的 產品經理的第一本書 大家都把他奉為圭臬,這裡所說的大家並不是指全部,當然也有一部分人不同意。很多人都覺得 產品經理的第一本書 是傳統行業的產品經理們的聖經,其實在網際網路這個新行業,...

到底什麼是產品經理?

我經常會追問產品經理到底是乙個什麼職位,他們的職責是什麼?該如何培養產品經理呢?marty cagan的著作 inspired 中文名 啟示錄 中曾如此描述 產品經理 這個職位 去發現有價值 可用且合理的產品。同樣,我認為產品經理是商務 技術和使用者體驗三個崗位的交集。乙個好的產品經理必須至少具有其...