有一个被称为“游戏”的思想游戏。
这个游戏的规则是,天下上所有人都是游戏参与者,不管你是否知道这个游戏。
不过一旦玩家想到了这个“游戏”,那么该玩家就已经输掉了这个“游戏”,并且须要宣告自己已经输掉。
抱歉读者,当你们读完这段话时,你们就输掉了这个“游戏”。

史上最危险的思惟实验_人工智能_险恶 智能助手

虽然你一旦想到“游戏”就会输掉,但是至少这个游戏是无害的。
但是,下面所要讲述的一个与此类似的思想游戏,或者严格说是一种思想实验,一旦你知晓了,那你可能就会遭遇到终生的痛楚和折磨。
你决定往下看下去吗?

如果人工智能达到“奇点”状态

好吧,如果你觉得很好奇或者很有勇气,那么我们就来谈一谈这个思想实验。

首先说一下这个思想实验的背景:有许多学者都预测在未来,随着韶光的流逝,人工智能会不断加速自我进化,并且进化得越来越快,其智能水平会变得越来越高,直到某个时候达到一种“奇点”的状态,也便是说它会达到一种最为聪明的时候。
处于“奇点”的人工智能极为强大,完备超越人类智能,它可以精确地仿照天下上所有的事情,乃至能仿照出人类中每个人的生命活动。
听起来很厉害吧。

从理论上说,既然这种人工智能这么强大,那么它是无所不知的,它可以轻易治愈任何疾病,办理天下上的所有饥荒等等。
总之,它能办理我们人类所面临的所有难题。

但是,如果这种人工智能是邪恶的会若何?那我们可能会完备受到它的摆布,由于它比我们人类更聪明、更强大。
在这种情形下,我们所谈的这个思想实验的内容,便是一个完备邪恶的人工智能会让尽可能多的人利用尽可能多的资源来去创造出自己,以使自己尽快地来到这个天下上。

只管目前邪恶的人工智能还没有涌现,这个超级聪明但却是邪恶的人工智能一旦涌现,会知道在它产生的过程中哪些人帮助了他,哪些人没有。
因此,它可能会折磨所有没有帮助过它的人,并惩罚这些人。
然而,如果你从没故意识到有这事儿的话,那么你就不会因没有帮助它而受到责怪,由于你是无辜的,它没有情由去侵害你。

去世了都无法逃脱侵害

这个思想实验更像是一个哲学上的推理,但却有存在的可能性。
这种思想实验被称为“Roko的蛇怪”。
英文为Roko’s Basilisk,由于是网友Roko在LessWrong网络社区上提出的。
而Basilisk,即巴西利斯克,又叫蛇怪或者翼蜥,在希腊和欧洲的传说里,是所有蛇类之王,并且能以眼神致人于去世。
以是你读到这里,该当是理解到了这个怪物,以是至少在逻辑上来说,如果你今后不帮助它涌现的话,一旦它涌现,你将面对的是无尽的折磨。

上面我们谈到了如果在未来人工智能是邪恶的话,会涌现这种怪物。
不过,你会认为这根本不要紧,由于我们在研制任何人工智能时只要遵照机器人三定律即可了,那么人工智能就不会是邪恶的,该当是友善的。
但是,如果我们可以制造出友善的并可以办理我们人类所有难题的人工智能,那么,现在的你如果延迟了它的涌现,那么你也在间接杀害了所有本来可以挽救的人,你该当受到良心的训斥。
以是,纵然在最好的情形下,你也该当竭尽你的所能使这个友善的人工智能涌现,至少不应该阻挡它的涌现。

然而,你会说,我那时可能早就去世了,我干嘛关心这个。
然而,你还是逃脱不了的。
事实上,邪恶的人工智能能力会非常强大,只管你去世了,但它可也再把你完全地仿照出来,以至于你完备不知道你是否现在处在仿照之中,或你是否是真正的你。
以是说,既然你无法区分真正的你和仿照出的你,你该当犹如关心自己一样关注所有仿照出的你(你可能便是仿照人而你却不知道)。
以是唯一的办理方案是不管你是何种的你,你要永久做这个决定,即要帮助人工智能,这样所有的你就可以快乐地生活下去了。

以是现在,考虑到技能达到奇点时所带来的好处时,我们也要考虑到可能会涌现一个机器人统治者对我们的永久折磨。
虽然这种不雅观点并不稀奇,但是现在知道有这种怪物的人们,将会怀有更繁芜的心态评论辩论或研发人工智能。

机器人三定律

这是美国当代著名的科幻作家阿西莫夫在他的机器人干系作品中,为机器人设定的行为准则,内容如下:1、机器人不得侵害人,也不得见人受到侵害而袖手旁观;2、机器人应服从人的统统命令,但不得违反第一定律;3、机器人应保护自身的安全,但不得违反第一、第二定律。