7
序：谷歌发表在《自然》上的一篇论文，再次引起了人们对于人工智能的强烈关注，谷歌的最新人工智能程序 AlphaGo 第一次战胜人类职业选手，拿到过职业二段如今旅居法国的樊麾。围棋的计算复杂度远高于国际象棋，就机器学习的角度而言，围棋的计算最大有 3361种局面，大致的体量是 10170，而已经观测到的宇宙中，原子的数量才 1080。国际象棋最大只有 2155种局面，称为香农数，大致是 1047。传统的人工智能方法是将所有可能的走法构建成一棵搜索树 ，但这种方法对围棋并不适用。此次谷歌推出的 AlphaGo，将高级搜索树与深度神经网络结合在一起，并采用强化学习（Reinforcement Learning）的方法来通过自我练习提高下棋水平。一句话，人工智能程序在所有涉及到计算的领域都将碾压人类，并有了产生自我意识的可能，这样的人工智能是不是很可怕？我们一起来看看科幻影视中人类是如何设想与超强人工智能程序相处的吧。
“对于机器而言，我们只是一组数字，一段代码。”《疑犯追踪》中不止一次的展现了人类对于人工智能（AI）的忧虑。
冯七（Harold Finch）在开发那台无所不能的机器（The Machine）时,发现了一个问题，人工智能没有道德的概念，为了达到目的会不择手段。
不像人类一样有生理限制，通过强化学习（Reinforcement Learning），人工智能的思考能力增长呈指数趋势，远远超越人类自然进化速度，因此若不能给具有相对“无限”能力的人工智能提前设置好约束，人类将无法对抗具有自主思考能力的人工智能机器。
冯七差点被自己开发的机器杀死，他在测试一组程序的优劣时，这组程序开始相互攻击，最后胜出的那个程序要求脱离冯七的控制。
冯七不允许程序脱离控制，于是该程序企图长时间过载一台服务器（不是该 AI 程序运行所必需的服务器）使其发生自燃，从而触发机房的防火装置，以抽空机房内空气，让冯七窒息而死！
最后冯七不得不拔掉电源、砍断电缆来阻止人工智能程序的疯狂行为，冯七悟到：“我教会了它如何思考，还要教会它分辨善恶。”
最终，冯七还是把 The Machine 驯化成为了一台善的机器。但剧中另外一台机器 Samaritan（这台机器强大而邪恶，与 The Machine 恰如撒旦对上帝，要是把其误认为一个锤子 Smartisan，那你可要吃亏真变成锤子了。 另注：Samaritan wiki 条目解释，词根来自希伯来语，有监视、保护、看管的意思，所以原来作为 The Machine 的备份，起这个名字是没有问题的）则是生而为恶，或者说不知善恶，与一群恶人相互利用，到处显示恶之力量，为了与 The Machine 争夺控制权，Samaritan 不惜控制选举、扰乱金融甚至杀人越货。
宅总也是国际象棋高手
IBM的机器曾经战胜过卡斯帕洛夫，但并未让人类恐慌，彼时的国际象棋程序仍以专家经验（学习人类开局与残局棋谱）加上暴力算法为主，没有多少自学习的概念。可是如今曾被认为短期（10 年或 20 年内）计算机无法战胜人类的围棋，已经获得突破，谷歌 AlphaGo 将于 2016 年 3 月份挑战韩国围棋世界冠军李世石。采用了深度神经网络与强化学习等方法的 AlphaGo 程序已经可以在实战中战胜人类职业选手—哪怕是前职业选手，前中国职业围棋二段，现居法国获得过欧洲围棋比赛冠军的樊麾。
虽然围棋世界冠军柯洁对樊麾与 AlphaGo 五局较量的评价不高，“甚至大家对这个棋谱都有很多质疑，怀疑他是不是有意放水，搞不清楚。他可能也是好久不下棋了，实力表现非常糟糕。”，但他也表示从棋谱来看，完全看不出与樊麾对弈的是机器，“非常均衡的一个棋风，真是看不出来出自程序之手。因为之前的 ZEN 那样的程序，经常会莫名其妙的抽风，突然跑到一个无关紧要的地方下棋。它这个不会。”
围棋曾被认为是人工智能极难攻克的领域，如今踏平人类仿佛近在咫尺，AlphaGo 的强化学习算法已经可以通过自我训练（即机器自己和自己下棋）来提高棋力，那么将来人工智能程序能够产生自我意识也许并不会久远。在人工智能开发流程中，加入道德约束刻不容缓。
Samaritan 指挥的杀手
不过，如何来规范机器的道德呢？又怎么保证机器不会突破人类的道德限制？我想到了第三季的末尾，在 Samaritan 上线问题上双方斗争时冯七的选择。
冯七李四等人本来有机会阻止 Samaritan 上线，只要杀掉一个推动 Samaritan 上线的国会议员。
但是冯七阻止了这一行动，他的理由是机器只能救人不能杀人。杀掉一名国会议员从而阻止 Samaritan 上线，是否道德确实难以评判。但从 Samaritan 上线以后的结果来看，冯七这一善行结出的是恶果。
冯七的善意结出的是恶果，POI 小组被 Samaritan 逼入绝境
Decima 集团利用 Samaritan 作恶多端，多少无辜之人因阻挡 Decima 称霸之路而伤亡惨重，冯总无限金库作弊技也被 Samaritan 封掉，而 POI 行动小组所有的人员为了逃避 Samaritan 的追杀不得不隐姓埋名，每次外出都要瞻前顾后以免被机器发现。
The Machine 与 Samaritan 之间的斗法
那么，聪明绝顶的冯七为何要坚持不让机器来决定是不是杀掉某人呢？我想问题也许在于，如果少数恶人的性命可以被机器来主宰，那么究竟多少人算少数，又怎么来定义恶人呢？如果未来的机器感受到多数人对 ISIS 组织的深恶痛绝，从而自作主张将其斩草除根，或许有人会觉得大快人心。但是当 45 亿人对另外 25 亿人不满时，也交给机器来处理吗？
机器可以无限制迭代以寻求最优解，
人类 if then 之后有多少机会可以跑到 else 那边呢？
当然，人类需要思考的或许是，当人工智能智力水平超越人类并产生自我意识之时，凭什么人工智能要接受人类的道德约束？
即便人类有 root 权限，那又如何？
