計算的能力是有極限的，但因此，人類無法控制超級人工智慧。
近日，一項新的研究發現，從理論上來看，人類不可能控制超級人工智慧。更為糟糕的是，這項研究也明確了人類無法在這種 ai 生成之時發現它。
讓人稍稍感到安慰的是，根據不止一項**，任何通用超級計算機超越人類的時間都會在數十年以後。
最近幾年，人工智慧在西洋棋、圍棋、德州撲克、jeopardy 等遊戲上超越了人類，在 dota2、星際爭霸遊戲中和頂級玩家打得有來有回，時不時會引起一小陣恐慌，有人擔心超越人類的機器智慧型會在某一天讓人們無所適從。「有關超級智慧型是否接受人類控制的問題其實很古老，」西班牙馬德里自治大學計算機科學家 manuel alfonseca 說道，「這還得追溯到 20 世紀 40 年代的阿西莫夫的機械人三定律。」
與超級人工智慧展開任何形式的交流都是有風險的
人們耳熟能詳的機械人三定律，首先在科幻**家伊薩克 · 阿西莫夫在 1942 年的短篇**集《我，機械人》中被提出，規則如下：
機械人不得傷害人類，或坐視人類受到傷害；
機械人必須服從人類命令，除非命令與第一法則發生衝突；
在不違背第一或第二法則之下，機械人可以保護自己。
在 1985 年《機械人與帝國》書中，阿西莫夫將三**則擴張為四**則：加入第零法則——機械人不得傷害整體人類，或坐視整體人類受到傷害。
2014 年，牛津大學人類未來研究所（future of humanity institute ）主任、哲學家 nick bostrom 不僅探索了超級人工智慧破壞人類的方式，還研究了針對這類機器可能的控制策略以及它們無法奏效的原因。
bostrom 列舉了這一「控制問題」的兩種可能解決方案。一種是控制 ai 能做的事情，如阻止 ai 連線網際網路；另一種是控制 ai 想做的事情，如教授 ai 規則和價值觀，使其秉持人類利益最大的原則行動。bostrom 認為，第一種解決方案存在的問題是超級智慧型機器可能掙脫任何人類施加給它的限制；第二種解決方案則擔心人類可能沒有能力訓練出超級人工智慧。
計算固有的限制可能導致人類無法控制超級人工智慧
在本月初發表在 ai 領域頂級期刊《人工智慧研究雜誌》（jair）上的一篇文章中，馬德里自治大學、馬克斯 - 蒲朗克人類發展研究所等機構的研究者認為，由於計算本身固有的基本限制，人類可能無法控制超級人工智慧。
他們表示，任何旨在確保超級人工智慧無法傷害人類的演算法都必須首先模擬機器行為以**其行動的潛在後果。如果超級智慧型機器確實可能造成傷害，那麼此類抑制演算法（containment algorithm）需要停止機器的執行。
然而，科學家們認為，任何抑制演算法都不可能模擬 ai 的行為，也就無法百分之百地** ai 的行為是否會造成傷害。抑制演算法可能無法正確模擬 ai 的行為或準確** ai 行動的後果，也就無法分辨出這些失敗。
「阿西莫夫給出的第一定律實際上已被證明是無法計算的，」alfonseca 說道，「因而根本無法實現。」
我們甚至連自己是否已經創造了超級智慧型機器都不知道——這是可計算理論中萊斯定理的乙個推論，該定理指出遞迴可列舉語言的所有非平凡（nontrival）性質都是不可判定的。從本質上來說，我們不能僅通過觀察程式本身，就知道程式可能會輸出什麼。
當然另一方面，我們還不需要為將來的機械人主宰提前做好服侍的準備。在該研究中，有三個重要問題給該**的推論帶來了不確定性。
計算複雜性是阻止人類控制強人工智慧的重要原因。
儘管我們可能無法控制乙個強人工智慧體，但控制乙個超越人類水平的狹義 ai 是可行的——我們可以放心地依賴一些專注於某些功能，而非像人類一樣可以執行多種任務的機械人。「我們已經擁有這種超級智慧型，」alfonseca 說道。「例如我們擁有可以比人類速度快很多的計算機器。這也是一種狹義的超級智慧型。」
發布於昨天 16:26
人工智慧從入門到精通（2）
今天主要學習tensorflow的計算模型，資料模型和執行模型 tensorflow中每乙個計算都是計算圖上的乙個節點，而節點之間的邊描述了計算之間的依賴關係。import tensorflow as tf g1 tf.graph with g1.as default v tf.get variab...
人工智慧從入門到精通（4）
損失函式的學習 深度學習兩個重要特性 多層和非線性 線性模型的輸出為輸入的加權和，解決問題的能力是有限的 如果乙個神經元的輸出通過乙個非線性函式，那麼整個神經網路的模型也就不再是線性的了。感知機模型無法解決異或問題，唯有加入隱藏層後，才能很好的解決異或問題，因為深層網路有更好的組合特徵提取的功能。分...
人工智慧從入門到精通（5）
tf.where 和tf.greater的用法 import tensorflow as tf v1 tf.constant 1.0,2.0,3.0,4.0 v2 tf.constant 4.0,3.0,2.0,1.0 sess tf.interactivesession print tf.grea...