長期以來，人們一直在討論人工智能將給人類帶來的危險。

超越創造者的智慧

假設某人編程的人工智能（AI）系統具有比人類更高的智能，因此他可以獨立學習。

通過連接到互聯網，人工智能可以訪問人類的所有數據，然后嘗試優化一切。它可以替換所有現有程序，并控制全球所有在線機器，從而使所有工作都盡可能高效。

這會產生烏托邦或反烏托邦嗎？人工智能會找到治療癌癥，促進世界和平和預防氣候災難的方法嗎？還是她會得出結論，解決所有問題的最有效方法就是破壞人類？

我們的世界著迷于可以控制汽車，撰寫交響曲或在國際象棋，圍棋和其他挑戰中擊敗人的機器和計算機，但是計算機科學家和哲學家想知道我們是否能夠控制超級智能的AI，以確保它能夠不會對人類構成威脅

“控制世界的超智能[計算機]機器看起來像是科幻小說。但是，已經有一些機器獨立完成某些重要任務，而程序員卻沒有完全了解他們如何學會做自己的事情。因此，是否有可能成為問題？ “這對人類來說是不可控制且危險的，”德國馬克斯·普朗克人類發展研究所的Manuel Cebrian教授說。

而且，學者的結論并不總是令人鼓舞：由Cebrian領導的國際團隊進行了最好的理論計算，當前的科學知識可以證明，人類根本不可能控制超級智能的AI。

人工超智能

科學家們探索了兩種如何控制人工超級智能的設想

一方面，超級智能AI的功能可能會受到特定限制，例如，通過將其與Internet和所有其他技術設備隔離開來，使其無法與外界聯系。但這將使“超級智能AI”的功能大大降低，無法回答人類為之設計的任務和問題。

如果沒有這種選擇，人工智能可能會從一開始就被激勵去追求僅符合人類最大利益的目標，例如，通過在其中編程道德原則。但是，研究人員還證明了控制超級智能AI的這些以及其他當代和歷史思想是有局限性的。

控制機器的機器是人類存在的風險之一。

無可爭議的問題

然后，團隊設計了一種理論上的遏制算法，以確保超智能AI在任何情況下都不會傷害人，先模擬AI的行為，然后在發現有害的情況下將其停止。

但是仔細的分析表明，在我們當前的計算范例中，無法構建該算法。

小組成員Iyad Rahwan說：

“如果將問題分解為理論計算機科學的基本規則，就會發現一種命令AI不破壞世界的算法可能會無意間破壞其自身的運行。遏制算法仍在分析威脅，或者是否停止了遏制有害AI。實際上，這使遏制算法無法使用。”

基于這些計算，遏制問題是無法挑戰的，也就是說，沒有任何一種算法可以找到確定AI是否會危害世界的解決方案。

此外，研究人員表明，我們甚至可能都不知道何時創建了超級智能機器，因為確定機器是否具有比人類更好的智能與遏制問題在同一領域：無法解決。