HTC張智威 AI與VR等新興技術終將顛覆醫療

2021-09-23 01:13:57 字數 2924 閱讀 7425

本文講的是htc張智威:ai與vr等新興技術終將顛覆醫療,

10月25日,在加州山景城舉辦的acmmm 2017大會進入正會第二天。在會上,htc healthcare 總裁張智威(edward y. chang)博士進行了題為《deepq: advancing healthcare through ai and vr》的演講。在演講中,張智威博士介紹了ai與vr等技術在醫療行業的應用,以及htc在這一領域的一些研究。

關於張智威博士:張智威博士於2023年獲得史丹福大學電機工程博士學位,與google創始人larry page和sergey brin系出同門,均出自於同乙個實驗室stanford infolab(雷鋒網按:在infolab校友名單中可查到)。在98年google剛創立的時候,larry和sergey曾一再邀請張智威加入,而張智威畢業後選擇了學術道路受聘uc santa babara分校,2023年加入google,隨後擔任google中國研究院院長,負責搜尋 、社群、移動和 big data 研發。

演講內容雷鋒網整理如下:

醫療領域的進展往往受到三個因素的影響:成本、品質和普及的程度。這三個因素相互影響:如果降低成本,品質也會降低;如果提高品質,可能會造成成本的提公升和普及率的降低。

無論是發達國家還是非洲等發展中國家都存在著這三方面不同程度的醫療問題。而ai、移動裝置和移動感測器等技術的進展,有望為醫療行業帶來顛覆性的創新,這也是htc在進行探索的方向。

儘管如此,在技術上還是面臨著很大的挑戰。

例如我們都知道,alphago雖然能在圍棋比賽中戰勝世界冠軍,但如果拿alphago下棋和用ai診斷病人病情來比較,會有以下不同:

在利用ai進行醫療診斷方面,htc健康事業部(deepq)的解決方案是:先與醫生進行合作,採用漸進的機器學習方法,讓主agent去選擇部件agent去探查病人的病狀。

上圖即為htc的疾病檢測儀,包含乙個手機和各種感測器,並借助ai技術,能診斷中耳炎、黑色素瘤、尿肝病、肺炎、高血壓等15種疾病。

以檢測中耳炎為例,我們需要對影象進行分析,把正常的影象和中耳炎的影象餵給深度神經網路。但問題是在醫療領域往往沒有那麼多的資料,我們通過台灣的醫院收集到了收集到1000個患者的資料,對於機器學習依然很少。

而另乙個問題是,深度學習網路能達到75%準確率,而專家診斷的準確率在85%以上。我們在請教醫生後準確率上公升到80.11%,但這依然不夠。怎麼辦呢?我們開始嘗試用imagenet的資料做遷移學習(transfer learning),但這可能也有問題,因為imagenet上的分類都是貓貓狗狗之類的,並沒有疾病方面的分類影象。

(通過遷移學習,準確率從80.11%上公升到了90.96%)

但我們發現,通過cnn模型,可以將原和編碼和還原處理後的進行比對。向神經網路輸入一張,神經網路會將其進行編碼和識別,然後啟用相應的神經元得出識別的結果。例如有的中耳炎識別出來所啟用的神經元是紅色的甲蟲,或者是海螺、拿鐵咖啡等。這雖然沒有識別出中耳炎,但識別出甲蟲或者咖啡,這可能說明患者存在病變現象。通過建立這樣的對應關係,可以將很多與中耳炎不相關的資料拿來進行訓練,最後我們的準確率達到了90.96%。

我們在做的乙個研究是,如何用最少的問題盡可能了解病人的病情,然後幫助醫生更準確判斷症狀。這當中就是詢問的問題的數量和診斷準確度的乙個均衡,我們目前可以對100多種常見疾病50%的準確率,平均詢問的問題為7.62個。

ai可以幫助我們實現更精準的醫療,而這需要收集更多的特徵資料。下面這張圖里列出了醫療資料可能的情況,這些資料可能是結構化、半結構化或者非結構化的,可能來自於醫院、保險公司、社交**等。

我們在醫療大資料探勘方面做了很多的工作。基於大資料,每個人的**方法、用量都會不一樣。

精準醫療的另乙個研究方向是精準手術。我們通過與vr裝置結合,可以幫助醫生更好了解患者諸如腫瘤位置、神經元分布等資訊,幫助醫生更好地進行決策。在如心、腦、脊椎等及精密手術中,vr/ar與ai或者與如達文西手術機械人的結合都有著很大的機會。

(例如在這個例子中,粉紅色部分為腫瘤,如果從右上方進行手術,則可能會切掉藍色部分的神經元)

在htc deepq ai平台上,我們有三板斧:對資料的挖掘主要使用頻繁專案集挖掘以及譜聚類,分類與回歸中主要使用lda、支援向量機和深度學習,以及遷移學習。

以上介紹的只是deepq平台的冰山一角。智慧型醫療中蘊含著更多未發現的機會,等待我們去進一步挖掘。

技術人物 張亞勤 「智造中國」規劃師(一)

張亞勤 智造中國 規劃師 一 本文原載於 數字商業時代 3月刊採訪 王鵬越許鳳婷撰文 許鳳婷 攝影 樓曉寧 少年大學生 美國電氣電子工程協會百年歷史上最年輕的院士 微軟中國研發集團總裁,擁有一系列傳奇頭銜的張亞勤似乎總是面帶微笑。我希望微軟中國將來能自己研發出像vista那樣的產品,2月2日,就在微...