通用旗下无人车公司Cruise获软银22.5亿美元投资，是否分手在即？

苦栗子 发自 凹非寺量子位 出品 | 公众号 QbitAI 昨晚，通用汽车官网发布消息说，软银愿景基金会向通用旗下的自动驾驶公司Cruise，投资22.5亿美元 (约合144亿人民币) 。 按照此前的计划，Cruise的自动驾驶汽车要在2019年实现商业化。如今看来，这个计划得到了软银的大力加持。 估值115亿美元 资金将分为两个阶段注入。第一阶段，Cruise会收到9亿美元。等到实现了商业化，便可以把余下的13.5亿美元收入囊中。 随着这笔投资的敲定，目前Cruise估值达到了115亿美元。回望2016年，通用买下Cruise的时候，只花了5.81亿美元。这两个数字之间，是接近20倍的差距。 交易完成后，软银将会持有Cruise 19.6%的股份。 而在软银的大手笔之外，通用自己也会为Cruise投入11亿美元。 您的方向盘呢？ 当年收购了Cruise之后，通用的自动驾驶业务开始如火如荼。 到目前为止，通用已经在旧金山和凤凰城等地，进行过自动驾驶路测，并且还想要登陆纽约继续测试，是NYC，不只是纽约州而已。 然而，这一步计划，目前还没有获得官方许可。但不要紧，通用大胆的想法又不止这一个。 今年1月，通用递交了一项申请，大意是希望联邦政府，能允许"没有方向盘，没有脚踏板，也不支持任何手动操作"的无人车上路。 在公司的蓝图里，这是"机器人共享出行服务 (Robo Ride-Sharing Service) "的一部分。 分手信号灯？ 现在，先把这些想法都放到一边。 原本看来，通用既有老牌车厂的硬件实力，麾下又有自动驾驶研发团队Cruise，无人车业务的发展"尽在掌控"。 不过，从华尔街传来的声音是，Cruise迟早会和通用分手。 分析师似乎纷纷看到了这样的未来—— 来自德意志银行的Rod Lache说，这笔投资非常关键，有了它Cruise将来就可能顺理成章地脱离通用。 来自摩根斯坦利的Adam Jonas说，软银这次给出的估值，比大摩给的估值高出了5倍。这样一来，投资人对自动驾驶技术的关注度便会提高。 大家的意思不难概括，有了钱景，就有了单飞的资本。 毕竟，一开始就是买来的。 不过，这个信号出现的也有点太快了。 买买买？ 分不分手都是以后的事，眼下要注意的是股市。 消息发布当日，通用股价飙升12.87%，一转年初下跌的颓势。 刚才出场的那些分析师都说买，来自花旗的Itay Michaeli，给的目标价是70美元。 顺便一提，特斯拉股价跌了2.4%。 — 完 — 欢迎大家关注我们的专栏：量子位 - 知乎专栏 诚挚招聘 量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复"招聘"两个字。 量子位 QbitAI · 头条号签约作者 վ'ᴗ' ի 追踪AI技术和产品新动态 via 量子位 - 知乎专栏 https://ift.tt/2LQTgSb RSS5

日本用活体肌肉构建机械臂，人类与机器融合取得新突破

夏乙 发自 凹非寺量子位 出品 | 公众号 QbitAI 来，看一段亦可赛艇的视频。 一只其貌不扬的机械臂，颤巍巍地逐渐靠近塑料圆环，弯曲、抬起、带走它、移到旁边的圆柱上、伸直、放下它…… 这有什么稀奇？ 秘密就在机械臂上方两侧粉嫩嫩的部分。 那是，活生生的，肌肉！ 对的，这个来自日本的机械臂采用了"生物混合(biohybrid)"设计，模拟人类手指的结构和功能，用两组大鼠肌肉来控制机械臂关节。 也许叫它"机械指"更合适。 而且，这个使用了活体肌肉的机械指，还能相互协作，提起重量更大的东西。不信你看。 上面这个混搭了活体肌肉的机械臂，出自东京大学的Yuya Morimoto、Hiroaki Onoe和Shoji Takeuchi等人。 如今登上Science Robotics最新一期封面。这足以证明其分量。有报道谈到这个研究时，称之为机器人领域的新突破。 活体机械指如何打造？ 上面这个能直能弯的机械指看起来简陋，内部结构却并不简单，论文中有详细的介绍。 机械指的中心是一根"骨架"，带有一个关节，骨架顶端和中间分别有两个电极。在两对电极之间，有四个活动的锚点，上面生长着两组对抗性的活体骨骼肌，下边的两个锚点带有柔性连接带，连到关节的两侧。 肌肉受到电流刺激会收缩，也就带动着关节运动，完成了机械指的弯曲动作。 虽说用到了活体肌肉，但制造过程中并不需要磨刀霍霍向大鼠。这些肌肉是直接从机械指的骨架上"长"出来的。 为了让树脂骨架长出肌肉，科学家们在上面铺满了包裹着成肌细胞（大鼠肌肉细胞）的水凝胶片。 水凝胶片只能保障肌肉长大，却不能一直让它存活下去。所以，这个使用活体肌肉的机械指有一个非常大的局限：只能生活在水里。 这么艰难，为什么还要用活体肌肉呢？ 因为机器人通常用的那些塑料、金属之类的材料，无论是运动幅度还是弹性都比肌肉差远了。 一周的寿命 活体肌肉性能好，但真正用到机器人上，就面临这个一个非常现实的问题：一条肌肉能用多久？ 这项新研究的答案是："长达"1周。 论文的作者之一Takeuchi之前就在机器人上用过活体组织，但是，寿命都非常短，用不了几次，肌肉就会收缩到无法工作。 这次，为了延长活体肌肉的寿命，他们使用了一种特殊的结构：让肌肉对抗性成对排列。 所谓"对抗性"，我们胳膊上的肱二头肌、肱三头肌之间，就是这个关系。肱二头肌收缩时，肱三头肌自然就舒张开来，反之亦然。 这种设计，除了延长肌肉的使用寿命之外，还让这个机械臂的关节旋转范围达到了90度。 下一步 这个机械指目前堪称简陋，寿命也就一周，但是在它背后，是制造机器人的一种可行新方法，几位科学家的目标也当然不止于此。 他们接下来，不仅要优化关节结构、延长这种机器人的寿命，也想继续拓展的它的能力。 作者之一、东京大学工程师Takeuchi在接受《国家地理》杂志采访时说："如果我们能在一台设备中加入更多这样的肌肉，我们就能复制出复杂的肌肉运动，构建像手、胳膊或者人体其他部分一样的机器。" 论文 如果你对这项研究感兴趣，可以前往Science Robotics观摩。传送门：https://ift.tt/2Lbkdij 或者，在量子位公众号（ID：QbitAI）对话界面，回复"肌肉"两个字，即可获得论文的下载地址。 One More Thing 关于为机器人创造"肌肉"这件事，科学家们一直在努力。 例如今年初，科罗拉多大学的学者们宣布正在研发和人类肌肉一样，具有自愈能力的人造肌肉。而且造价只需10美分。 这种机器肌肉学名是：液压放大自愈式静电致动器（HASEL）。这个技术未来有望简化庞大的金属机器人，并让他们能更好的模仿人类动作。 这个人造肌肉是由植物油、水凝胶电极填充的小袋构成。通电之后，电极周围的油会产生收缩，而断电之后，机器肌肉会放松下来。 整个收缩过程在毫秒内完成，丝毫不虚人类肌肉。 这项研究，也发表在Science和Science Robotics上。传送门： https://ift.tt/2F2Umqz https://ift.tt/2EbxrIf 去年底，哈佛和MIT携手合作，也开发了一个强大又廉价的人造肌肉。这个看起来软趴趴的东西，能提起比自身重1000倍的物体。 原理嘛，据说是受到折纸的启发。 这项研究发表在PNAS上，感兴趣的话，可以前往观摩学习。传送门：https://ift.tt/2zzgiGw 就酱。 — 完 — 欢迎大家关注我们的专栏：量子位 - 知乎专栏 诚挚招聘 量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复"招聘"两个字。 量子位 QbitAI · 头条号签约作者 վ'ᴗ' ի 追踪AI技术和产品新动态 via 量子位 - 知乎专栏 https://ift.tt/2xybV1Z RSS5

自动驾驶雨伞身边走，一首凉凉唱起来 | 视频

安妮 发自 凹非寺量子位 出品 | 公众号 QbitAI 几个世纪以来，每逢下雨，人类都采用一种古朴的撑伞姿势——手拿式撑伞。 笨重的雨伞把儿总是霸道地占据手中宝贵的地产，让你时时刻刻不方便。 脑洞新奇的岛国人民觉得这太土味了，并且表示不 能 忍，于是，开发了一种……自动驾驶雨伞（认真脸.jpg）。 先来观摩一下这把伞： 可以看出，这把由日本Asahi Power Service软件公司开发的自动驾驶雨伞具有以下特点： 透明伞盖，宽约150厘米。 体重娇羞，一把伞可重5公斤。 一次喂饭，可续航20分钟。 诶等等……这场景，这参数，怎么都甚是熟悉…… 哦……这……不就在大疆无人机上放了把伞么……？ 是就是吧，也不妨碍人家售卖~要知道，这可是把有温度有态度的伞。 据Asahi Power Service的描述，它最大的意义不仅在于无手遮雨遮阳，也在于无人机螺旋桨的转动带来了类似风扇的清凉效果~带你在炎炎夏日激爽一时。 不过，对这把伞的实用性还是有不少人质疑。 一是确实是不用手撑伞了，但……好像还得用那个遥控器指挥啊，这技术操作难度，简直堪比操作"雨中挖掘机"。 二是，无论是在中国还是岛国，无人机的允许使用区域着实有限，每日扛着10斤"以备不时之需"而且还不让用的东西，这又是何苦呢…… Asahi Power Service表示，目前正在用AI技术做头部跟随，让伞和手彻底分离，并且在应用场景方面，目前只计划在高尔夫球场等处私人场所出售。 不过~对大部分人来说，这些担忧都太早了吧。 毕竟……毕竟，这把伞的售价折合成人民币，可是1700多块钱啊~ 对了，脑洞大开的岛国人民之前还做一个自动驾驶拖鞋，感兴趣了解一下： 日本车厂最新产品：自动驾驶拖鞋！（不是开玩笑，有图有视频） 神奇。 — 完 — 欢迎大家关注我们的专栏：量子位 - 知乎专栏 诚挚招聘 量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复"招聘"两个字。 量子位 QbitAI · 头条号签约作者 վ'ᴗ' ի 追踪AI技术和产品新动态 via 量子位 - 知乎专栏 https://ift.tt/2xunrvy RSS5

看再多的书和论文，都不如亲自来百度公开课杭州站上个课

百度深度学习公开课第三堂即将开课！5月18日，百度深度学习公开课将在杭州正式"开课"。届时，多位深度学习技术专家将深度解读PaddlePaddle的特性、模型与应用案例，让AI工程师与希望进入人工智能领域的资深开发者迅速get到进阶的"套路"。 深度学习公开课是今年百度AI开发者实战营第二季的全新福利。值得一提的是，一天的学习结束之后，百度AI还会在现场进行测试，学员顺利通过小测试后，就能获得结课证书；在测试中取得优异成绩的学员还将现场获颁"优秀学员证书"。 百度深度学习公开课已在北京开始了"第一讲"，来自百度PaddlePaddle团队的技术专家们用清晰的逻辑、风趣的语言、典型的案例和精彩的互动，为现场学员介绍了PaddlePaddle世界级深度学习框架的地位与起源、设计理念，以及产品的易学性与易用性等。 在杭州站的深度学习公开课上，更有多名重量级演讲嘉宾亲临现场：百度内部开发工程师巩伟宝和董志宏，开发经验丰富，对百度PaddlePaddle了如指掌；百度资深技术大咖刘凡平，技术研究范围广泛且深入，更拥有多篇技术专著；90后少年天才景略集智CEO王文凯，毕业于帝国大学，对AI技术颇有研究，目前已在知乎拥有30万粉丝；具有丰富AI授课经验的University AI创始人朱小虎，多年来贡献了无数经典教程…… 此次课程可谓是6小时的深度学习工程师"速成班"，多名技术专家将继续从PaddlePaddle开发基础与功能、应用解析等方面，帮助开发者快速了解深度学习技术与PaddlePaddle的最新进展。王文凯将通过趣味案例"智能匹配系统-大数据吃鸡"，帮助开发者快速通过深度学习，快速匹配更优质的队友，加大游戏胜算。同时，现场开设"深度学习模型设计经验分享"环节为开发者提供了与大咖面对面，探讨实用经验的宝贵机会。 在公开课的课程设置上，百度搭建了一套完整的深度学习内容体系，通过线上和线下丰富的学习课程，支持深度学习人才发展。此外，为了满足开发者全方位、多层次的需求，百度还特地准备了时长为一个小时的"Workshop+Q&A"环节，百度研发工程师将从基础知识，到上机实践，以手把手实操式教学的形式带领学员们现场实战PaddlePaddle，并详细解答大家关心的问题。坐标杭州的你，无论是深度学习领域的"小鲜肉"还是经验丰富的"大神"，欢迎在现场积极踊跃发言，把杭州公开课现场的深入交流氛围"搞"起来。 一直以来，百度不遗余力地推动深度学习技术在各行各业、各类场景的工业化落地。除了开设深度学习公开课外，近日百度还与科赛网联合发起第二届"PaddlePaddle AI"大赛——NLP（自然语言处理）智能问答赛事。百度AI希望通过多样化的形式，帮助解决行业AI转型过程中存在的难题，进而推动深度学习工业应用落地，让AI 技术落到实处。 此次百度公开课全程免费，学员限额即将满员。还在纠结或是观望的你，请抓紧最后的机会，与最懂行业技术与前沿趋势的人儿齐聚一堂，开启魔幻的深度学习之旅吧！ 目前深度学习公开课杭州站报名已经开启，了解活动详情与报名请猛戳： http://www.huodongxing.com/event/2437464833000?qd=jiqizhixin 附：百度深度学习公开课·杭州站时间地点及议程安排 活动时间：5月18日9:30-16:00 活动地点：杭州海外海皇冠大酒店 活动地址：杭州市拱墅区上塘路333号 活动议程： 09:30-10:00 签到 10:00-11:00 PaddlePaddle开发基础与EDL/VDL 11:00-12:00 PaddlePaddle Workshop+Q&A 12:00-13:30 午餐、自由交流 13:30-14:20 智能匹配系统：大数据吃鸡 14:20-15:10 深度学习模型设计经验分享 15:10-15:20 小测试 15:20-15:50 循环神经网络原理及其在NLP中的应用 15:50-16:00 授予结课证书 ]]> 原文： https://ift.tt/2xumAek 机器知心

进化计算在深度学习中的应用 | 附多篇论文解读

随着当今计算能力的大幅度提升和大数据时代的到来，深度学习在帮助挖掘海量数据中蕴含的信息和完成一些人工智能任务中，展现出了非凡的能力。然而目前深度学习领域还有许多问题亟待解决，其中算法参数和结构的优化尤为困难。而进化优化作为一种通用的优化方法，逐渐受到学术界的一些关注和应用，以期能解决以上难题。 基于遗传规划的自动机器学习 自动机器学习（Automated/Automatic Machine Learning, AutoML）作为近年来逐渐兴起的热门研究领域，旨在降低机器学习的门槛，使其更加易用。 一般而言，一个完整的机器学习（特别是监督式机器学习）工作流通常包含以下部分，数据清洗，特征工程，模型选择，训练测试以及超参数调优。每一道工序都有相当多的实现选项，且工序之间相互影响，共同决定最终的模型性能。 对于机器学习使用者而言，针对具体任务设计实现合适的工作流并不容易，在很多情况下可能会耗费大量的时间进行迭代。AutoML 的目标便是尽可能地使以上的过程自动化，从而降低使用者的负担。 本次我们要同大家分享的是近年来在 AutoML 领域内比较有影响力的一个工作，基于树表示的工作流优化（Tree-based Pipeline Optimization Tool, TPOT）。 TPOT 的作者为 Randal S. Olson 等人，相关文献为 [1] (2016 EvoStar Best Paper) 和[2] (2016 GECCO Best Paper)，我们在这里将两篇文献的内容统一为大家作介绍。 ▲ 图1：机器学习工作流中被TPOT优化的部分 如图 1 所示，TPOT 希望从整体上自动优化机器学习的工作流 。在 TPOT 中，一个工作流被定义为一棵树，树上每一个非叶子节点为操作（Operator）节点，叶子节点则为数据节点。数据集从叶子节点流入，经过操作节点进行变换，最终在根节点处进行分类/回归，图 2 给出了一个例子。 ▲ 图2：基于树表示的工作流的一个例子 TPOT 一共定义了 4 种操作节点类型（见图 3），分别是预处理、分解/降维、特征选择以及学习模型。这些操作的底层实现均是基于 Python 的机器学习库 scikit-learn。 ▲ 图3：TPOT操作节点类型 有了以上基于树的表示，TPOT 直接利用遗传规划（具体来说，是 Python 库 DEAP 中的 GP 实现）对工作流进行优化。在搜索过程中，任一工作流首先在训练集上训练，然后在独立的验证集上评估（另一种更为耗时的选项是交叉验证）。在搜索结束后，TPOT 将返回最好的工作流所对应的代码。 TPOT 的一个潜在问题在于可能会产生过于复杂的工作流，从而导致过拟合。针对这个问题，论文 [2] 对 TPOT 作出了拓展，将工作流复杂度（即包含的操作节点个数）作为第二个优化目标，提出了 TPOT-Pareto，其使用了类似于 NSGA 中所采用的选择算子。 ▲ 图4：部分实验结果 论文 [1] 和 [2] 在很多任务上对 TPOT 和 TPOT-Pareto 进行了评估，实验结果（图 4 给出了在 UCI 数据集上的部分实验结果，其中 Random Forest 包含了 500 棵决策树，TPOT-Random 采用了随机搜索而不是 GP）表明了 TPOT 系的方法在很多任务上都能取得不错的效果。 ▲ 图5：工作流复杂度对比 图 5 给出了不同方法得到的模型的复杂度，可以看出 TPOT-Pareto 确实能得到更为精简的工作流。一个比较有趣的问题是采用随机搜索的 TPOT-random 在很多任务上（以更高的工作流复杂度）也能够达到 TPOT 以及 TPOT-Pareto 相当的效果。  TPOT 项目已经开源，且仍在开发迭代中，目前整个社区相当活跃，已经有了 4000+ 的 star 和 680+ 的 fork。 TPOT项目地址： https://ift.tt/2b9XOFK 参考文献 [1] Olson, Randal S., et al. "Automating biomedical data science through tree-based pipeline optimization." European Conference on the Applications of Evolutionary Computation. Springer, Cham, 2016.  [2] Olson, Randal S., et al. "Evaluation of a tree-based pipeline optimization tool for automating data science." Proceedings of the Genetic and Evolutionary Computation Conference 2016. ACM, 2016. 多目标演化优化深度神经网络 本文主要侧重于分享近期基于多目标演化优化深度神经网络的工作。由于笔者能力有限，如果分享过程中存在疏忽，还请大家不吝赐教与指正。 第一个工作发表于 IEEE Transaction on Neural Networks and Learning Systems 2016，来自 Chong Zhang，Pin Lim，K. Qin 和 Kay Chen Tan 的文章Multiobjective Deep Belief Networks Ensemble for Remaining Useful Life Estimation in Prognostics，本文为预估系统剩余使用周期设计了多目标深度网络集成算法（Multiobjective Deep Belief Networks Ensemble，MODBNE）。 MODBNE 是一个集成学习模型，其以单个 DBN（Deep Belief Networks）模型的准确性和多样性作为优化目标，使用 MOEA/D 算法对 DBN 模型进行优化，将最终获得的一系列占优的 DBN 模型用于集成学习模型。 其中，演化种群中的每一个个体代表一个 DBN 模型，其决策空间由 DBN 模型的隐藏神经元数量、神经网络中的权重以及推理过程中需要的学习率构成，这意味着每一个个体都代表着不同结构的 DBN 模型。 最后，通过以平均学习错误率为目标的单目标 DE 算法优化集成学习模型中各个模型的比重。 MODBNE 在 NASA 的 C-MAPSS 数据集上进行实验，结果表明该算法明显优于其他现有的算法。 第二个工作发表于 IEEE Transaction on Neural Networks and Learning Systems 2017，来自 Jia Liu，Maoguo Gong，Qiguang Miao，Xiaogang Wang 和 Hao Li 的文章 Structure Learning for Deep Neural Networks Based on Multiobjective Optimization，论文提出一种使用多目标优化算法优化深度神经网络的连接结构的方法。 首先，将多层神经网络看成多个单层的神经网络，逐层优化。在优化每一层的时候，以神经网络的表达能力（Representation Ability）和神经网络连接的稀疏性作为优化目标，使用 MOEA/D 算法进行优化。 其中，演化种群中的每一个个体代表单层神经网络的一种配置，神经网络的表达能力用观测数据的 PoE（Products of Experts）评估，稀疏性由神经节点之间连接的个数表示。 通过用该算法优化单层神经网络、多层神经网络以及一些应用层面的神经网络进行测试，实验验证该方法可以大幅提升深度神经网络的效率。 演化深度神经网络 演化算法和人工神经网络都可以看作是对某些自然过程的抽象。早在上世纪 90 年代早期，就有研究试图将二者结合起来，并最终形成了演化人工神经网络（Evolutionary Artificial Neural Networks，EANN）这一分支。 EANN 旨在利用演化算法强大的搜索能力在神经网络的多个层面上（全局参数如学习率，网络拓扑结构，局部参数如连接权值）寻优。 在实际中，这种利用工具来自动设计算法的思路可以在很大程度上减轻算法设计者的负担。同时，在计算资源充足的条件下，针对给定的任务，演化算法往往能成功地发现有效的神经网络结构。 近年来，计算能力的大幅提升和大数据时代的到来助推了深度学习的兴起，在此期间各种深度神经网络（Deep Neural Networks，DNN）被相继提出。然而即使在今天，针对特定问题设计有效的深度神经网络仍然是一项非常困难的任务。 以此为背景，利用自动化工具（比如演化算法）来设计深度神经网络逐渐受到了学术界的一些关注。本文将同大家分享演化深度神经网络的一项近期工作。由于笔者能力有限，如果分享过程中存在疏忽，还请大家不吝赐教与指正。  由于 DNN 连接数巨大，利用演化算法直接优化 DNN 权值的计算代价太高。因此一般采用两层（bilevel）策略对 DNN 进行优化，其顶层由演化算法优化 DNN 的结构和全局参数，其底层依然采用随机梯度下降的方法训练连接权值。 发表在 ICML 2017，来自 Google Brain 的 Esteban Real，Sherry Moore，Andrew Selle，Saurabh Saxena，Yutaka Leon Suematsu，Quoc Le，Alex Kurakin 的文章Large-Scale Evolution of Image Classifiers，提出了一种针对图像分类的 DNN 的分布式演化算法。 ▲ 图1：文章提出的分布式演化算法 算法的流程如图 1 所示，该算法维护了一个 DNN 种群，种群中每一个个体都是一个已经训练好的 DNN 模型，其适应度即为该模型在验证集上的准确率。 大量的计算节点（worker）被用来对 DNN 种群进行演化。具体而言，所有的 worker 处在分布式环境下，共享存储 DNN 种群的文件系统，并以异步的方式工作。 每一个当前空闲的 worker 都会从 DNN 种群中随机选取两个 DNN 模型，然后将较差的 DNN 直接从种群中删除，并基于较好的 DNN 变异生成一个子代个体加入 DNN 种群。 整个过程中个体的编码是图，图上每一个顶点表示一个三阶张量（比如卷积层）或者一个激活函数，每一条边则表示恒等连接（identity connection）或者卷积。变异操作则包括重置权值，插入删除神经层，插入删除神经层之间的连接等等。 实验中，种群规模被设置为 1000，并有 250 个 worker 参与，在 CIFAR-10 和 CIFAR-100 数据集上的实验结果如图 2 所示，相比于手工设计的 DNN，用此分布式演化算法得到的 DNN 能够取得有竞争力的结果。 ▲ 图2：在CIFAR-10和CIFAR-100上的测试结果 更多论文推荐 最后，再附上 Github 上几篇进化计算在 AutoML 上的应用论文。 ■ 论文 | Evolving Neural Networks through Augmenting Topologies ■ 链接 | https://ift.tt/2slqIZ6 ■ 作者 | Kenneth O. Stanley / Risto Miikkulainen Abstract An important question in neuroevolution is how to gain an advantage from evolving neural network topologies along with weights. We present a method, NeuroEvolution of Augmenting Topologies (NEAT), which outperforms the best fixed-topology method on a challenging benchmark reinforcement learning task. We claim that the increased efficiency is due to (1) employing a principled method of crossover of different topologies, (2) protecting structural innovation using speciation, and (3) incrementally growing from minimal structure. We test this claim through a series of ablation studies that demonstrate that each component is necessary to the system as a whole and to each other. What results is significantly faster learning. NEAT is also an important contribution to GAs because it shows how it is possible for evolution to both optimize and complexify solutions simultaneously, offering the possibility of evolving increasingly complex solutions over generations, and strengthening the analogy with biological evolution. ■ 论文 | Autostacker: A Compositional Evolutionary Learning System ■ 链接 | https://ift.tt/2Hdlfbq ■ 作者 | Boyuan Chen / Harvey Wu / Warren Mo / Ishanu Chattopadhyay / Hod Lipson Abstract We introduce an automatic machine learning (AutoML) modeling architecture called Autostacker, which combines an innovative hierarchical stacking architecture and an Evolutionary Algorithm (EA) to perform efficient parameter search. Neither prior domain knowledge about the data nor feature preprocessing is needed. Using EA, Autostacker quickly evolves candidate pipelines with high predictive accuracy. These pipelines can be used as is or as a starting point for human experts to build on. Autostacker finds innovative combinations and structures of machine learning models, rather than selecting a single model and optimizing its hyperparameters. Compared with other AutoML systems on fifteen datasets, Autostacker achieves state-of-art or competitive performance both in terms of test accuracy and time cost. ■ 论文 | Deep Neuroevolution: Genetic Algorithms Are a Competitive Alternative for Training Deep Neural Networks for Reinforcement Learning ■ 链接 | https://ift.tt/2smNZcP ■ 源码 | https://ift.tt/2mNvITx Abstract Deep artificial neural networks (DNNs) are typically trained via gradient-based learning algorithms, namely backpropagation. Evolution strategies (ES) can rival backprop-based algorithms such as Q-learning and policy gradients on challenging deep reinforcement learning (RL) problems. However, ES can be considered a gradient-based algorithm because it performs stochastic gradient descent via an operation similar to a finite-difference approximation of the gradient. That raises the question of whether non-gradient-based evolutionary algorithms can work at DNN scales. Here we demonstrate they can: we evolve the weights of a DNN with a simple, gradient-free, population-based genetic algorithm (GA) and it performs well on hard deep RL problems, including Atari and humanoid locomotion. The Deep GA successfully evolves networks with over four million free parameters, the largest neural networks ever evolved with a traditional evolutionary algorithm. These results (1) expand our sense of the scale at which GAs can operate, (2) suggest intriguingly that in some cases following the gradient is not the best choice for optimizing performance, and (3) make immediately available the multitude of neuroevolution techniques that improve performance. We demonstrate the latter by showing that combining DNNs with novelty search, which encourages exploration on tasks with deceptive or sparse reward functions, can solve a high-dimensional problem on which reward-maximizing algorithms (e.g.\ DQN, A3C, ES, and the GA) fail. Additionally, the Deep GA is faster than ES, A3C, and DQN (it can train Atari in ∼4 hours on one desktop or ∼1 hour distributed on 720 cores), and enables a state-of-the-art, up to 10,000-fold compact encoding technique. ■ 论文 | Improving Exploration in Evolution Strategies for Deep Reinforcement Learning via a Population of Novelty-Seeking Agents ■ 链接 | https://ift.tt/2smbv9V ■ 源码 | https://ift.tt/2mNvITx Abstract Evolution strategies (ES) are a family of black-box optimization algorithms able to train deep neural networks roughly as well as Q-learning and policy gradient methods on challenging deep reinforcement learning (RL) problems, but are much faster (e.g. hours vs. days) because they parallelize better. However, many RL problems require directed exploration because they have reward functions that are sparse or deceptive (i.e. contain local optima), and it is not known how to encourage such exploration with ES. Here we show that algorithms that have been invented to promote directed exploration in small-scale evolved neural networks via populations of exploring agents, specifically novelty search (NS) and quality diversity (QD) algorithms, can be hybridized with ES to improve its performance on sparse or deceptive deep RL tasks, while retaining scalability. Our experiments confirm that the resultant new algorithms, NS-ES and a version of QD we call NSR-ES, avoid local optima encountered by ES to achieve higher performance on tasks ranging from playing Atari to simulated robots learning to walk around a deceptive trap. This paper thus introduces a family of fast, scalable algorithms for reinforcement learning that are capable of directed exploration. It also adds this new family of exploration algorithms to the RL toolbox and raises the interesting possibility that analogous algorithms with multiple simultaneous paths of exploration might also combine well with existing RL algorithms outside ES. ]]> 原文： https://ift.tt/2swKOhZ 机器知心