長(zhǎng)期以來(lái)，人們一直在討論人工智能將給人類帶來(lái)的危險(xiǎn)。

超越創(chuàng)造者的智慧

假設(shè)某人編程的人工智能（AI）系統(tǒng)具有比人類更高的智能，因此他可以獨(dú)立學(xué)習(xí)。

通過連接到互聯(lián)網(wǎng)，人工智能可以訪問人類的所有數(shù)據(jù)，然后嘗試優(yōu)化一切。它可以替換所有現(xiàn)有程序，并控制全球所有在線機(jī)器，從而使所有工作都盡可能高效。

這會(huì)產(chǎn)生烏托邦或反烏托邦嗎？人工智能會(huì)找到治療癌癥，促進(jìn)世界和平和預(yù)防氣候?yàn)?zāi)難的方法嗎？還是她會(huì)得出結(jié)論，解決所有問題的最有效方法就是破壞人類？

我們的世界著迷于可以控制汽車，撰寫交響曲或在國(guó)際象棋，圍棋和其他挑戰(zhàn)中擊敗人的機(jī)器和計(jì)算機(jī)，但是計(jì)算機(jī)科學(xué)家和哲學(xué)家想知道我們是否能夠控制超級(jí)智能的AI，以確保它能夠不會(huì)對(duì)人類構(gòu)成威脅

“控制世界的超智能[計(jì)算機(jī)]機(jī)器看起來(lái)像是科幻小說。但是，已經(jīng)有一些機(jī)器獨(dú)立完成某些重要任務(wù)，而程序員卻沒有完全了解他們?nèi)绾螌W(xué)會(huì)做自己的事情。因此，是否有可能成為問題？ “這對(duì)人類來(lái)說是不可控制且危險(xiǎn)的，”德國(guó)馬克斯·普朗克人類發(fā)展研究所的Manuel Cebrian教授說。

而且，學(xué)者的結(jié)論并不總是令人鼓舞：由Cebrian領(lǐng)導(dǎo)的國(guó)際團(tuán)隊(duì)進(jìn)行了最好的理論計(jì)算，當(dāng)前的科學(xué)知識(shí)可以證明，人類根本不可能控制超級(jí)智能的AI。

人工超智能

科學(xué)家們探索了兩種如何控制人工超級(jí)智能的設(shè)想

一方面，超級(jí)智能AI的功能可能會(huì)受到特定限制，例如，通過將其與Internet和所有其他技術(shù)設(shè)備隔離開來(lái)，使其無(wú)法與外界聯(lián)系。但這將使“超級(jí)智能AI”的功能大大降低，無(wú)法回答人類為之設(shè)計(jì)的任務(wù)和問題。

如果沒有這種選擇，人工智能可能會(huì)從一開始就被激勵(lì)去追求僅符合人類最大利益的目標(biāo)，例如，通過在其中編程道德原則。但是，研究人員還證明了控制超級(jí)智能AI的這些以及其他當(dāng)代和歷史思想是有局限性的。

控制機(jī)器的機(jī)器是人類存在的風(fēng)險(xiǎn)之一。

無(wú)可爭(zhēng)議的問題

然后，團(tuán)隊(duì)設(shè)計(jì)了一種理論上的遏制算法，以確保超智能AI在任何情況下都不會(huì)傷害人，先模擬AI的行為，然后在發(fā)現(xiàn)有害的情況下將其停止。

但是仔細(xì)的分析表明，在我們當(dāng)前的計(jì)算范例中，無(wú)法構(gòu)建該算法。

小組成員Iyad Rahwan說：

“如果將問題分解為理論計(jì)算機(jī)科學(xué)的基本規(guī)則，就會(huì)發(fā)現(xiàn)一種命令A(yù)I不破壞世界的算法可能會(huì)無(wú)意間破壞其自身的運(yùn)行。遏制算法仍在分析威脅，或者是否停止了遏制有害AI。實(shí)際上，這使遏制算法無(wú)法使用。”

基于這些計(jì)算，遏制問題是無(wú)法挑戰(zhàn)的，也就是說，沒有任何一種算法可以找到確定AI是否會(huì)危害世界的解決方案。

此外，研究人員表明，我們甚至可能都不知道何時(shí)創(chuàng)建了超級(jí)智能機(jī)器，因?yàn)榇_定機(jī)器是否具有比人類更好的智能與遏制問題在同一領(lǐng)域：無(wú)法解決。