很高興有機會在這裡跟大家分享一下，其實也是我們課題組做的一部分工作，主要是圍繞著腦跟機怎麼樣融合在一起，形成新的智慧型形態或者智慧型系統，為我們人服務。
我的報告主要分兩方面，前面簡單介紹一下混合智慧型概念；後面跟大家分享一下我們圍繞著這個概念的部分實踐。
我們先回顧一下腦機介面。腦機介面其實是提供了一種生物體跟外部的機器之間的資訊通道，可以使兩者相互連線在一起。一方面，它可以把我們腦神經系統活動與行為的相關資訊提取出來；另一方面，外部的資訊也可以通過腦機介面反饋給大腦。通過這兩個方向進行資訊傳遞，其實是把我們的腦跟機緊密地聯在一起，也就是把腦接入到原來整個賽博系統或者資訊世界中。從原來的機聯，到現在的物聯，到以後的腦聯。
有了這些系統以後，不但在感知方面、認知方面、行為方面人的能力都可以得到很大的增強，我們以後可能會植入乙個晶元或者植入乙個裝置小的東西。現在是可穿戴的東西，以後植入這些東西的情況會變得越來越多。
形成乙個環路之後，不僅在低層感知方面有體現，在高層認知角度，包括決策、學習、互動都可以相互融合，比如互動。互動是很有意思的東西，互動從資訊角度看，互動本質上就是傳遞經驗與知識，我們從小去學、聽東西都是通過這種學會的。
如何將腦機融合在一起，也是這幾年我們一直努力的方向。我們稱為混合智慧型，就是通過神經介面的方式把我們機器的一些能力，主要是一些它所擅長的能力，與生物體的、更進一步是人類很特別的高階的智慧型怎麼樣融合在一起。融合在一起最主要的目的是為了增強人原來自身的不是特別好的，或者已經有傷害、有損傷的，或者退化的那種能力。其實前面趙總說的外骨骼，如果跟神經介面連在一起就是非常典型的行為層做增強的東西。
除了感覺的恢復或者修補，這個例子是乙個關於行為的。乙個20多歲年輕人，因為跳水頸脊椎受損傷了，手臂很難抓取這些東西，但是它可以通過植入式腦機介面的方式把人的意念採集出來，通過訊號分析以後再刺激手臂的肌肉，可以相對比較順利做抓取、攪拌等動作。
這個例子中不但從外部將腦神經資訊部分讀取解碼出來，還可以編碼後反饋到手臂的神經系統上去，讓患者的行為得以部分恢復。這個例子，剛才看起來做的這幾個簡單動作，當時作者是訓練了15個月左右才做到。
去年下半年另外乙個工作，猴子的，不用訓練。猴子右後腿受傷沒法走，通過神經介面接好以後，基本上可以踩下去，是不用訓練可以直接打通的。
這些例子反映了，我們原來想的混合智慧型很難，但從技術來說已經慢慢看到一些希望，或者看到可行性的一些角度。所以我們再做乙個很簡單的總結，這些融合我們融在一起增強人本身或者生物體本身的能力，有感覺的、認知的、行為的都有可能。我們課題組去年做的學習能力的增強，可以給大鼠一些刺激，它找迷宮學的更加快。國外也做一些甚至虛假記憶的植入。。
我們更多想從計算角度看，我們要搭這些系統的話怎麼樣更加快、更加方便。就想著怎麼程式設計更加容易做，因為整個系統非常複雜。前幾年也思考這些問題做了一些總結，比如乙個很簡單的總結是，我們把生物體、機器從層次化的角度做了一些分層的結構，真正以後做這些系統，像程式設計一樣，生物體端可以直接呼叫機器這邊不同的功能，機器的地方也可以直接呼叫生物端的功能，這樣把這些系統就變成可程式設計、可構建的，目的是更加方便、快速構建它。
我們再從資訊迴路觀察，我們最關心的是資訊流大概是怎麼樣的，哪些手段可以把剛才生物的跟機器能夠連在一起。現在從技術手段看，其實生物或者包括我們交叉的領域有很多進展，這些可能對做生物的人非常熟悉了，比如光遺傳學。這些手段可調控神經網路的功能，神經可以被外部資訊啟用。可以看到，現在有很多技術就是可以把腦機連在一起，資訊迴路就形成了，資訊不但可以從生物體出來，也可以再回到生物體去。
除了視覺以外還有聽覺，我們就不展示了。最主要是把訊號反饋給大鼠的，也可以把大鼠感覺資訊做乙個感測器，比如大鼠可以感知紫外資訊，但人一般是感覺不到的，我們通過對大鼠的初級視覺皮層v1資訊提取出來之後解碼它。這裡我們不看了。
我們更往上就是做腦機的決策融合，這裡這個例子是讓大鼠走迷宮，怎麼樣讓它走的更快？大鼠自己的探索能力再加上計算的角度判斷，哪些路徑它走過了。這個資訊怎麼反饋給大鼠？就是通過植入式方式反饋給大鼠相關的皮層中，讓它不用再走這裡了，然後它可以通過自身的探索能力、對空間的定位能力探索新的地方，非常有意思。
這裡講的例子其實是機器的智慧型跟生物本身的智慧型可以融合起來，這樣機器與生物可以相互幫助做一些事情。
還有乙個例子，其實我們記憶的好壞在記東西之前神經訊號已經有所反映，我們就可以做一些演算法判斷。在學習過程，比如背單詞或者小孩子學生詞時到底記憶得好還是不好？。不好的話可能再讓它記幾次，或者可能太累讓他玩點遊戲再記，就可以做個性化的教育輔助。從這個圖，可以非常明顯看出來，那些單詞如果記住和不記住，它的腦電累加效應差異非常明顯。
更加難一點，腦裡面不同的腦區它們之間的關係。其實前面宋森老師也介紹了幾個例子，我們怎麼樣建模它，包括堯教授提了，我們調控它。我們最近做了乙個簡單的工作，對獼猴的pmd和m1腦區進行關係建模與**。這是一些結果，藍線是我們**出來的結果。如果有兩個腦區之間通路斷了是不是可以通過建模的方式進行修補？有了這些東西以後還可以用硬體做晶元建模實現，以後是不是晶元可以植入到生物體中？這是我們以前做的晶元，目前是希望能夠對神經處理做建模**。
用這個晶元目前對植入還沒有做，現在做了腦電解碼，也就是我們常見的腦電運動想象意念控制，腦電波出來之後通過晶元進行訊號解碼，再反饋到電腦控制籃球的運動。這裡做了很簡單的演示，白球是目標地方，意念控制籃球左右移動。
最後乙個例子是臨床病人意念控制。通過手術從大腦內部採集ecog神經訊號進行解碼。本實驗中，石頭剪刀布這三個手勢，是通過ecog神經訊號識別出來的，然後去控制機械臂的運動，玩石頭剪刀布的遊戲。
（本報告根據速記整理）
《中國人工智慧學會通訊》 2 24 結 果
我們將人類 bpl 以及其他模型在 5 個概念學習任務上的結果並列進行對比，檢驗僅從乙個或一些樣例得到的不同形式的泛化 見圖 5 的樣例任務 所有的行為實驗都是通過亞馬遜土耳其機械人 mechanical turk 進行的，實驗的詳細流程請參考 s5 章節。主要實驗結果總結在圖 6 中，額外的殘缺分...
《中國人工智慧學會通訊》 3 28 討 論
近年來，各種型別的 機械人層出不窮，人機互動控制策略對於 機械人實現臨床應用意義重大。通過上文的回顧分析，可以看出，現有人機互動控制依然存在如下問題。目前還不存在一種通用的人機互動控制策略。針對患者損傷部位及損傷程度採用合適的控制策略是常規的方案，但正如前文所述，現有 機械人系統的互動控制系統通常缺...
《中國人工智慧學會通訊》 1 32 詞嵌入
在此基礎上，也有研究者關注如何利用已有的知識庫來改進詞嵌入模型。wang 等人 5 結合知識圖譜和未標註語料在同一語義空間中來聯合學習知識和詞的向量表示，這樣可以更有效地實體詞的嵌入。rothe等人 6 直接利用 wordnet 知識庫的詞和語義集的關係來學習詞嵌入，能更好地利用已有的知識庫。該 獲...