全能AI降临之前，人类有哪些安全防范对策？

Root 编译整理量子位 出品 | 公众号 QbitAI 霍金曾说过，通用人工智能（简称AGI）将会终结人类。 这类警惕AGI的言论，其实很久之前就有。 早在1951年，艾伦·图灵说过机器终会挣脱我们人类控制，接管这个世界。连工厂里使用大量机器人自动化生产特斯拉Model 3的马斯克，都反复公开强调，人类要积极监管，否则等回过神来的时候就已经来不及了。 澳洲国立大学三位AI学者Tom Everitt, Gary Lea, Marcus Hutter忧天下之忧，即将在IJCAI（国际人工智能联合会议）上发表一篇综述AGI Safety Literature Review，盘点了这几年全世界各地AI学者们对通用AI安全问题的思考。 简单了解一下AGI 如今我们生活中听过的或接触到的AI，只能处理单一问题，我们称之为弱人工智能。 单独下个棋，玩雅达利游戏，开个车，AI都hold得住。但现在的AI还没有"十"项全能的本领，无法同时做到在多个任务都表现得超过人类。 只有强人工智能，也就是AGI，才具备与人类同等的智慧，或超越人类的人工智能，能表现正常人类所具有的所有智能行为。 尽管现在并不存在AGI，但从人类把越来越多机械重复的工作都扔给AI解决这个趋势来看，AGI早晚会到来。 When？ 曾有人在某年的NIPS和ICML大会上，组织过一场问卷调查。其中一个问题，请在场的顶尖学者们预测，比人类强大的AGI什么时候来。 调查结果显示，大家认为AGI会出现在2061年（结果取的中位数）。 掐指一算。也就还有43年。 AIXI模型，AGI学术圈内有望达到通用人工智能的模型之一，由本文作者之一Marcus Hutter教授于2000年首次提出。 他假设任何计算问题都可以转换为一个效用函数最大化的问题。 只用这一个公式，就概括出了智能的本质。 基于AIXI理论，Hutter教授和他的学生Shane Legg（也是DeepMind的联合创始人）在2007年对智能下了个定义： agent的智能程度，是看agent在复杂的环境里完成任务的能力。 在大多数人的认知里，一旦两个agent同在一个环境里有着相斥的目标，那么智能程度更高的agent靠智商碾压对方来取胜。 这让很多人感到深深的恐惧。 如果哪一天我们成为了某个AGI目标的障碍物，那么比我们强大的AGI也很有可能会把我们清理掉。 围绕这层担忧，本文将从AGI可能造成的问题及人类的应对策略、公共政策这两个方面展开论述。 提前防范AGI宝宝造反 底层价值取向 第一个能想到的危险，是以AGI的智慧程度，它已经可以把目标分等级了。 比如说，算出π小数点后的第xx位数值，和追求提高人类的生活幸福指数相比，AGI可能会觉得前者很没意思。一旦AGI发展出自己的一套目标评价体系，那可能意味着它们不会乖乖"无脑"地完成人类交给他们的任务了。 所以我们人类一开始就要给AGI设计好底层的评价体系，相当于给它们一套我们人类做事的准则，一份moral code，价值取向。 现阶段，造AGI的最佳架构是强化学习。在单向任务上，棋类游戏、电脑游戏都用的强化学习。而采用强化学习的最大挑战在于，如何避免agent为了优化而不择手段抄近路。 不仅要防止agent篡改训练数据，维护好奖励函数的处理机制，还要小心最后输出的评估表现被扭曲。AGI想要做手脚的话，可下手的地方太多了。 因此，我们人类得充分想到每一种可能，做对应的防御机制。 稳定性 不过，即使辛辛苦苦教会它们怎么做一个好AGI之后，它们也有可能会在自我进化的过程中改写掉这些底层原则。所以设计一个稳定可靠的价值取向就很关键。 有学者Everitt, Filan认为，设计价值取向必须考虑的三大前提。 Everitt, Filan, et al. Learning the Prefer- ences of Ignorant, Inconsistent Agents , arXiv: 1512.05832. 1）Agent评估未来场景的模型得基于当下的效用函数； 2）Agent得提前预判自我改写对未来行为策略的影响； 3）奖励函数不能支持自我改写。 可修正性 过于稳定，规则完全改不动也不行。 DeepMind就尤其在意未来的AGI是否具有自我修正能力。指不定人类一开始设计的底层原则有啥毛病呢。不能改的话，也很恐怖。 这里就需要引入一个修正机制。 默认情况下，agents出于自我保护会阻止修改、关闭。就像哈尔9000一样，当发现鲍曼和普尔要关闭他时，他就会策划反击。但可修改、关闭的指定特殊情况例外。 除此之外，还需要设置长期监控agents行为的测试，一旦发现异常马上关停。 安全性 用强化学习存在个问题。模型很容易受到训练数据的干扰，被操控后堕落成坏AGI。 去年Katz拓展了Simplex算法，把修正线性单元ReLU引入了神经网络。然后成功地验证了含有300个ReLU节点8层的神经网络行为，从而提高了神经网络抗干扰能力。 具体ReLU如何提高模型的抗干扰性可参考：Katz, et al.Reluplex: An ecient SMT solver for verifying deep neural networks. arXiv: 1702. 01135 可理解性 深度神经网络是怎么学习的，一直也是个谜。不理解它们的话，我们也没法引导他们做出正面的决策。 为了可视化网络的行为，DeepMind的Psychlab心理实验室模拟出了一个三维空间，尝试理解深度强化学习的agents。 也有AI学者Zahavy为了观察DQN在玩雅达利游戏的策略，用t-SNE降维的方法可视化DQN顶层网络的活动。 公共政策怎么定比较科学 有人担心AGI造反，也有人担心坏人滥用AGI把世界搞得一片混乱。后者更希望全球出一套统一的法规，调控AI的发展。 但也有人对法规持谨慎的态度。AI学者Seth D Baum认为，设定法规反而会把AI往火坑里推。 当法规成了阻挠AI发展的外力，AI研究者们到时肯定会想办法绕过这些条规。 那种自发摸索怎么样造出更安全的AI的内在动力，他认为，会更快尝试出一条安全的路径。关于自发内在的动力，他提出了几点建议： 1）营造一个良好的讨论氛围，多半一些大会鼓励AI研究机构和团队公开发表他们对安全AGI的见解。 2）争取利益相关第三方的资金支持，比如各大车厂以及军队。他们不差钱，也愿意花在AGI的研究上。 3）不能把AGI的研发看作一个军备竞赛。如果游戏规则是赢者通吃，那大家只会一味地拼速度，而忽视掉安全问题。 4）从社会行为学的角度来说，可以引导AI学者们公开发声，表达出他们所做的AI研发工作是奔着安全的方向去的。一个人公开的表态会倒过来影响一个人的行为，从而促使大家在实际操作过程中也按照这个想法去做。人还是倾向于知行合一的。 事不宜迟，赶紧行动起来 顶尖的AI组织机构已经开始发力。IEEE已经在去年开始出一份道德指南（guidelines on Ethically Aligned Design）。ACM也和AAAI的SIGAI小组合作，2017年联合举办了一个AIES（ AI, ethics and society）大会。 欧盟也很重视这件事。今年拉着同盟国和业界的大佬一起拿出30亿欧元给AI和机器人研究中心，以及欧洲议会组织了两次会议，公开征求民众意见，探讨AI和机器人的民事法律责任框架草案。 AGI留给人类准备对策的时间，也许还有不到50年。 希望最后AGI和人类能友好共处 最后，附AGI安全综述全文：https://ift.tt/2HOI36k — 完 — 欢迎大家关注我们的专栏：量子位 - 知乎专栏 诚挚招聘 量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复"招聘"两个字。 量子位 QbitAI · 头条号签约作者 վ'ᴗ' ի 追踪AI技术和产品新动态 via 量子位 - 知乎专栏 https://ift.tt/2IdrCAS RSS5

深圳把首张智能网联汽车路测牌照给了腾讯，后者年内要落地L3产品

李根 假装发自 深圳南山 量子位 报道 | 公众号 QbitAI 深圳的无人车路测牌照也来了。 今天（5月14日），深圳市政府为腾讯颁发智能网联汽车道路测试牌照。在深圳市交通运输委员会和深圳市公安局交通警察局严格测试及审定之后，腾讯自动驾驶汽车可在深圳市指定的路段进行公开测试上路。 这是深圳的第一张、也是唯一一张无人车相关的路测牌照。不过具体测试路段目前尚未公布。 值得注意的是，获颁牌照后，腾讯自动驾驶实验室的最新进展也被进一步曝光。 方案 与之前量子位独家披露一致，此次腾讯自动驾驶实验室路测车，同样基于长城哈弗H7改装，硬件方面配备了1个Velodyne 64线、1个32线激光雷达，车身周围装有6个4线的激光雷达，另外车尾车头分别加装毫米波雷达，配备3个摄像头。 此外，腾讯自动驾驶实验室负责人苏奎峰也披露了更多进展。 他表示，腾讯自动驾驶实验室以人工智能算法、高精度地图、数据平台和仿真系统等四大核心模块为支撑，已经构建起了稳定可靠的自动驾驶系统。 这四者互相支撑、共同推进： 第一，极力打通算法开发、数据标注、后台训练、应用移植的完整链条，将人工智能赋能于自动驾驶； 第二，通过研发覆盖多城市、多路段的高精地图，保障自动驾驶的准确和安全； 第三，腾讯云的海量存储空间与运算资源，为自动驾驶提供数据支持； 第四，虚实一体的3D仿真、闭环仿真系统，可基于现场采集图像生成各种典型道路场景。 2018落地L3产品 而场景落地方面，会先L3，再L4\L5，一步步实现商业化。 苏奎峰表示，"2018年会是腾讯自动驾驶的产品化元年，将重点推进L3产品落地，并为L4及L5提供场景数据支撑。" 在自动驾驶领域，腾讯明确定位于"自动驾驶系统完整的软件与服务提供商"，通过构建自动驾驶的生态链，做好"连接器和零配件"，提供最有效的数字接口和工具箱，助力整个智慧交通和智能出行领域的发展。 此外，腾讯自动驾驶也将联动腾讯车联，与政府部门和传统车企展开积极、深入的合作，为合作伙伴提供一个更为开放、创新和具有可持续性的智慧解决方案。 高精度地图计划 最后，腾讯自动驾驶实验室还披露了高精地图方面的进展。 2018年年内将完成国内重点城市和主干网络的20万公里封闭道路矢量地图制作，2019年计划实现全路网20万公里覆盖。 当然，高精地图也是腾讯入局自动驾驶的基础优势之一。腾讯不仅拥有高精地图独立采集、制作、运营的完整资质，而且高精地图测试、开发和服务，之前就隶属于腾讯自动驾驶实验室所在的MIG（移动互联网事业群）。 据腾讯官方透露，腾讯自动驾驶实验室正式成立于2016年下半年，召集了国内外知名自动驾驶领域专家，在360°环视、高精度地图、点云信息处理与融合定位等前沿领域都做了尝试和探索。 同时腾讯自动驾驶实验室也承担了腾讯在无人驾驶领域积累全套核心技术，产学研合作等任务。 传送门 关于腾讯自动驾驶进展，量子位之前有过独家报道，更多前情可移步： 《注意！腾讯杀入无人车战场：原型车已经搞定，系统正在内测》 《独家 | 腾讯无人车首次曝光，还把车子开上了四环》 — 完 — 欢迎大家关注我们的专栏：量子位 - 知乎专栏 诚挚招聘 量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复"招聘"两个字。 量子位 QbitAI · 头条号签约作者 վ'ᴗ' ի 追踪AI技术和产品新动态 via 量子位 - 知乎专栏 https://ift.tt/2jSXwDX RSS5

深圳把首张智能网联汽车路测牌照给了腾讯，后者年内要落地L3产品

李根 假装发自 深圳南山 量子位 报道 | 公众号 QbitAI 深圳的无人车路测牌照也来了。 今天（5月14日），深圳市政府为腾讯颁发智能网联汽车道路测试牌照。在深圳市交通运输委员会和深圳市公安局交通警察局严格测试及审定之后，腾讯自动驾驶汽车可在深圳市指定的路段进行公开测试上路。 这是深圳的第一张、也是唯一一张无人车相关的路测牌照。不过具体测试路段目前尚未公布。 值得注意的是，获颁牌照后，腾讯自动驾驶实验室的最新进展也被进一步曝光。 方案 与之前量子位独家披露一致，此次腾讯自动驾驶实验室路测车，同样基于长城哈弗H7改装，硬件方面配备了1个Velodyne 64线、1个32线激光雷达，车身周围装有6个4线的激光雷达，另外车尾车头分别加装毫米波雷达，配备3个摄像头。 此外，腾讯自动驾驶实验室负责人苏奎峰也披露了更多进展。 他表示，腾讯自动驾驶实验室以人工智能算法、高精度地图、数据平台和仿真系统等四大核心模块为支撑，已经构建起了稳定可靠的自动驾驶系统。 这四者互相支撑、共同推进： 第一，极力打通算法开发、数据标注、后台训练、应用移植的完整链条，将人工智能赋能于自动驾驶； 第二，通过研发覆盖多城市、多路段的高精地图，保障自动驾驶的准确和安全； 第三，腾讯云的海量存储空间与运算资源，为自动驾驶提供数据支持； 第四，虚实一体的3D仿真、闭环仿真系统，可基于现场采集图像生成各种典型道路场景。 2018落地L3产品 而场景落地方面，会先L3，再L4\L5，一步步实现商业化。 苏奎峰表示，"2018年会是腾讯自动驾驶的产品化元年，将重点推进L3产品落地，并为L4及L5提供场景数据支撑。" 在自动驾驶领域，腾讯明确定位于"自动驾驶系统完整的软件与服务提供商"，通过构建自动驾驶的生态链，做好"连接器和零配件"，提供最有效的数字接口和工具箱，助力整个智慧交通和智能出行领域的发展。 此外，腾讯自动驾驶也将联动腾讯车联，与政府部门和传统车企展开积极、深入的合作，为合作伙伴提供一个更为开放、创新和具有可持续性的智慧解决方案。 高精度地图计划 最后，腾讯自动驾驶实验室还披露了高精地图方面的进展。 2018年年内将完成国内重点城市和主干网络的20万公里封闭道路矢量地图制作，2019年计划实现全路网20万公里覆盖。 当然，高精地图也是腾讯入局自动驾驶的基础优势之一。腾讯不仅拥有高精地图独立采集、制作、运营的完整资质，而且高精地图测试、开发和服务，之前就隶属于腾讯自动驾驶实验室所在的MIG（移动互联网事业群）。 据腾讯官方透露，腾讯自动驾驶实验室正式成立于2016年下半年，召集了国内外知名自动驾驶领域专家，在360°环视、高精度地图、点云信息处理与融合定位等前沿领域都做了尝试和探索。 同时腾讯自动驾驶实验室也承担了腾讯在无人驾驶领域积累全套核心技术，产学研合作等任务。 传送门 关于腾讯自动驾驶进展，量子位之前有过独家报道，更多前情可移步： 《注意！腾讯杀入无人车战场：原型车已经搞定，系统正在内测》 《独家 | 腾讯无人车首次曝光，还把车子开上了四环》 — 完 — 欢迎大家关注我们的专栏：量子位 - 知乎专栏 诚挚招聘 量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复"招聘"两个字。 量子位 QbitAI · 头条号签约作者 վ'ᴗ' ի 追踪AI技术和产品新动态 via 量子位 - 知乎专栏 https://ift.tt/2jSXwDX RSS5

进击的YOLOv3，目标检测网络的巅峰之作 | 内附实景大片

作者丨浩克匠心 研究方向丨基于深度学习的实时目标检测 知乎专栏丨计算视觉与深度学习的小屋 YOLOv3的前世今生 2015 年，R-CNN 横空出世，目标检测 DL 世代大幕拉开。 各路豪杰快速迭代，陆续有了 SPP，fast，faster 版本，至 R-FCN，速度与精度齐飞，区域推荐类网络大放异彩。 奈何，未达实时检测之基准，难获工业应用之青睐。 此时，凭速度之长，网格类检测异军突起，先有 YOLO，继而 SSD，更是摘实时检测之桂冠，与区域推荐类二分天下。然准确率却时遭世人诟病。 遂有 JR 一鼓作气，并 coco，推 v2，增加输出类别，成就 9000。此后一年，作者隐遁江湖，逍遥 twitter。偶获灵感，终推 v3，横扫武林！ 准确率不再是短板 自从 YOLO 诞生之日起，它就被贴上了两个标签： 速度很快 不擅长检测小物体 而后者，成为了很多人对它望而却步的原因。 由于原理上的限制，YOLO 仅检测最后一层卷积输出层，小物体像素少，经过层层卷积，在这一层上的信息几乎体现不出来，导致难以识别。 YOLOv3 在这部分提升明显，先看看小物体的识别。 ▲ YOLOv3的识别结果 直观地看下和 YOLOv2 的对比图如下。可以看出，对于小物体的识别，提高非常明显。 无论是传统的模式识别图像检测，还是基于 CNN 的视觉检测，对于紧凑密集或者高度重叠目标的检测通常是非常困难的。比如对合影的人群检测在 YOLOv2 上的结果： 而下面是 v3 的结果 一次检测到图中 90% 的人，还增加了 tie（领带）这个新类别，非常惊艳！ 再看看模型的泛化能力如何： 骷髅并不在训练数据集中，但是通过训练模型强大的泛化能力，自动将其归类到了人类（也算是最为合理的近似处理了）。 这在 YOLOv2 中是检测不到的。 那么，模型泛化能力很强的副作用，就是分类结果跑偏，比如下面这张 coser 的识别图，最左侧的人识别成了马： 训练和检测都很快 论文中做了详尽的对比。  和前辈们比，YOLO 的速度非常快，比 R-CNN 快 1000 倍，比 Fast R-CNN 快 100 倍。  和同辈们比，YOLOv3-608 检测准确率比 DSSD 更高，接近 FPN，但是检测时间却只用了后面两者的三分之一不到。  原因如论文中所说，它在测试时观察整张图像，预测会由图像中的全局上下文（global context）引导。它还通过单一网络评估做出预测，而不像 R-CNN 这种系统，一张图就需要成千上万次预测。 用了哪些黑科技？ 1. 多级预测 终于为 YOLO 增加了 top down 的多级预测，解决了 YOLO 颗粒度粗，对小目标无力的问题。 v2 只有一个 detection，v3 一下变成了 3 个，分别是一个下采样的，feature map 为 13*13，还有 2 个上采样的 eltwise sum，feature map 为 26*26，52*52，也就是说 v3 的 416 版本已经用到了 52 的 feature map，而 v2 把多尺度考虑到训练的 data 采样上，最后也只是用到了 13 的 feature map，这应该是对小目标影响最大的地方。 在论文中从单层预测五种 boundingbox 变成每层 3 种 boundongbox。 2. loss不同 作者 v3 替换了 v2 的 softmax loss 变成 logistic loss，由于每个点所对应的 bounding box 少并且差异大，每个 bounding 与 ground truth 的 matching 策略变成了 1 对 1。 当预测的目标类别很复杂的时候，采用 logistic regression 进行分类是更有效的，比如在 Open Images Dataset 数据集进行分类。 在这个数据集中，会有很多重叠的标签，比如女人、人，如果使用 softmax 则意味着每个候选框只对应着一个类别，但是实际上并不总是这样。复合标签的方法能对数据进行更好的建模。 3. 加深网络 采用简化的 residual block 取代了原来 1×1 和 3×3 的 block（其实就是加了一个 shortcut，也是网络加深必然所要采取的手段）。 这和上一点是有关系的，v2 的 darknet-19 变成了 v3 的 darknet-53，为啥呢？就是需要上采样啊，卷积层的数量自然就多了，另外作者还是用了一连串的 3*3、1*1 卷积，3*3 的卷积增加 channel，而 1*1 的卷积在于压缩 3*3 卷积后的特征表示。 4. Router 由于 top down 的多级预测，进而改变了 router（或者说 concatenate）时的方式，将原来诡异的 reorg 改成了 upsample。 下一代YOLO长啥样？ 1. mAP 会继续提高：随着模型训练越来越高效，神经网络层级的不断加深，信息抽象能力的不断提高，以及一些小的修修补补，未来的目标检测应用mAP会不断提升。  2. 实时检测会成为标配：目前所谓的"实时"，工业界是不认可的。为什么呢，因为学术圈的人，验证模型都是建立在 TitanX 或者 Tesla 这类强大的独立显卡上，而实际的潜在应用场景中，例如无人机/扫地/服务机器人/视频监控等，是不会配备这些"重型装备"的。所以，在嵌入式设备中，如 FPGA，轻量级 CPU 上，能达到的实时，才是货真价实的。  3. 模型小型化成为重要分支：类似于 tiny YOLO 的模型分支会受到更多关注。模型的小型化是应用到嵌入式设备的重要前提。而物联网机器人无人机等领域还是以嵌入式设备为主的。模型剪枝/二值化/权值共享等手段会更广泛的使用。 说点题外话 YOLO 让人联想到龙珠里的沙鲁（cell），不断吸收同化对手，进化自己，提升战斗力：YOLOv1 吸收了 SSD 的长处（加了 BN 层，扩大输入维度，使用了 Anchor，训练的时候数据增强），进化到了 YOLOv2；  吸收 DSSD 和 FPN 的长处，仿 ResNet 的 Darknet-53，仿 SqueezeNet 的纵横交叉网络，又进化到 YOLO 第三形态。  但是，我相信这一定不是最终形态。让我们拭目以待吧！ YOLOv3实景大片儿 这周忙里偷闲，把 darknet 的代码撸了一遍，里面有趣的东西很多。 能看出来作者是有野心的，YOLO 不只是一个目标检测应用，它还是一个完全基于 C 语言的通用神经网络架构，以及很多以此为基础的深度学习应用，比如基于 RNN 的莎士比亚戏剧剧本自动生成器： 基于策略网络的 darknet 版阿法狗（DarkGo）： 基于 GAN 的 darknet 版 Deep Dream（Nightmare）： 挑战 SqueezeNet 的压缩网络 TinyYOLO（Redmon 号称后者比前者更快、小、准）等等。 当然，做得最好的还是目标检测。darknet 自带有视频检测，及网络摄像头实时视频检测。  但是，目前网上介绍的 YOLO 的文章多是用的论文和 Github 工程自带的 sample 图片（dog，kite…），其实这不太公平。  在源代码基础上加了一点保存视频的代码（代码链接在文尾），生成了如下的视频，看看当 Mr Bean 遇到 YOLO 会产生什么样的化学反应！  ▲ YOLOv3效果展示 https://ift.tt/2IdxCJK 注：本视频基于 coco 数据集，YOLOv3 cfg 和 weights。检测视频没有声音，音轨是后加的。 存在一些识别错误，但是整体来说，亮点很多。 截取几个瞬间 ▲ 性能提升最大的是小物体或者远处的物体识别 ▲ 重叠遮挡物体的识别 ▲ 运动模糊物体的识别 ▲ 高密度汽车的识别 ▲ 密集人群识别 相关链接 [1]. 论文 https://ift.tt/2pKub1g [2]. 翻译 https://ift.tt/2J7aFoa [3]. 代码 https://ift.tt/22oYiHP [4]. 官网 https://ift.tt/2mvghgY [5]. YouTube https://www.youtube.com/watch?v=MPU2HistivI [6]. 旧版 https://ift.tt/2IlNTsg https://ift.tt/2v5aXEE [7]. 源码分享 https://ift.tt/2IlNUfO [8]. YOLOv3在Windows下的配置（无GPU） https://ift.tt/2Ie2rOD ]]> 原文： https://ift.tt/2IlNUMQ 机器知心