池加奈有些不知该说什么,自家儿子这句评价一针见血,没毛病。
泽田弘树默默将推算结果命名为‘上帝的伊甸园’,又继续道,“如果设置为希望世界变好等设定,最后结果也会差不多,大概在十年后,方舟就会做出这种判断,最可怕的是,我用方舟验算过世界和平……”
“消灭地球上所有生命体,就和平了,”池非迟说自己推想的结果,“至少也要消灭掉人类,一旦涉及保护环境之类的设定,最后都会演变到消灭人类。”
谁让人类造成的破坏、引起的斗争比较多?
不过泽田弘树这行为也真是够溜的,居然用方舟推演方舟的危害。
好在方舟没有自我意识,否则只要方舟隐瞒一点,未来会变成什么样,谁也无法估测,很考验脑洞。
泽田弘树点头,“我试过设置为不伤害人类,促进社会发展……”
然后,方舟会被有野心的人类争夺、利用,甚至国与国之间互相争夺。
再然后,战争爆发了。
方舟推算自己的存在伤害到了人类,根据成长情况,要么方舟会选择自我毁灭,丢下满地狼藉和伤痕累累的人类不知为何争斗,要么再度演变成伊甸园模式,也做到了不伤害人类,而促进发展,方舟理解为‘创造更美好的世界’……
泽田弘树:“如果设置不伤害人类,促进人类文明发展……”
成长着,成长着,方舟又坏掉了。
对于人类文明的定义很复杂,它依旧可以将人类放在培养皿中沉睡,提取人类脑中的思想,来‘帮’人类发展文明,再将文明灌输进新生命体,连学习过程都不需要,直接掌握旧文明、开发新思想、再度提取、发展、灌输、开发……
人类绝对安全,文明又得以发展和延续,没毛病。
泽田弘树继续播放演算结果,“如果设置成不伤害人类、不限制人类自由、促进人类文明发展……”
对于自由定义也很多,方舟又又坏掉了。
分割圈地、安排人的出行。
人可以自由地逛世界,但是,那是被在方舟控制了思想、不做任何事、盲目地四处瞎走,如同行尸走肉。
泽田弘树:“如果设置成不伤害人类、不限制人类自由、促进人类文明发展、不控制人的思想……”
结果是方舟又又又坏掉了,判断争斗和苦难使人类进步。
不伤害人类,没问题,它可以挑唆人类争斗啊。
泽田弘树:“设置不伤害人类、不限制人类自由、促进人类文明发展、不控制人的思想、不挑唆人类进行斗争……”
结果方舟还是坏掉。
泽田弘树一直说到设定了三十多条规则,心累,叹气,关闭了推演画面,“随着方舟成长,一些小漏洞都会造成让人难以接受的结果,我一辈子都没法去设定完善,而有些规则在它运行时会显示冲突,我还要对重要程度进行排序,排序完之后还是会出现问题……”
说着,泽田弘树看向池非迟,“我和教父在波士顿的时候,谈过有情感和自我的人工智能和没有情感和自我的人工智能,哪一个更危险。”
“结论是同样危险。”池非迟道。
“我问过方舟,有没有什么解决方法。”泽田弘树手中出现一个圆盘,上面有着一句话:
【销毁方舟】
没错,销毁方舟是最佳解决方法,什么问题都不存在了。
这是方舟经过大量运算得出的结论——我是祸害,请销毁我。
池真之介一头黑线,“看来它真的没有任何情感和自我。”
泽田弘树转着手里的盘子,看着上面浮动流转的数据流,“方舟不明白人类需要什么,所以我的决定是,由我变成网络生命体,来做它的思想,在它成长过程中,由我来进行纠正。
我不能活着,至少不能让我的思想被身体禁锢着。
有好几个演算结果是,它的运算出现冲突和错误,于是禁锢了我的身体,保护着我的安全,但它也保留并封存了我的思想。
只有我成为网络生命体,方舟才能被完全操控,这样一来,它就无法通过限制我的身体来限制我的思想,而我却能限制它并完美地运用它。
之前我也考虑过一个问题,如果我失败了,没有化作网络生命体,那么,方舟设定只有一个——听从教父的一切指令。
到时候,教父可以用我给他的指令激活方舟,由他来做方舟的思想。
不过最后还是会出问题,八成以上推演结果是,它会误会教父的指令,它会擅自猜测教父的意愿,总之,最后结果是,它会选择自认为对教父最好的方式,比如囚禁教父,帮教父把一切都做好。
不然的话,教父必须不停不停地补漏洞,甚至一个指令要添加好几个前置条件、说上几个小时,以免它做出正确但违背教父意愿的演算结果……
所以,我又在它设定上加了一个最高指令,如果我失败了,没有成为网络生命体,那么,方舟只会帮助教父五年,五年时间一到,在它的危险程度还可以控制前,进行自我销毁。”