这是谷歌构建的「明日之城」, 共享单车、网约车、AR技术都在里面了

作者 | Aarian Marshall 编译 | Edison Ke 去年，谷歌母公司 Alphabet 声称正在将纯虚拟领域的数据挖掘能力应用到 3D 空间。 其本土创新企业 Sidewalk Labs 正式声明与加拿大的多伦多市确立合作，在该市开展实验，通过对观察和测量当地居民的生活模式来实现对城市交通的改进——哦不，是优化。 「在我们看来，此举并非一时兴起，」Alphabet 主席 Eric Schmidt 说，「这是将近 10 年以来我们探索如何运用科技改善生活的终极目标。」 OK, Google：这是在现实生活。 现下这个项目将不再专供于多伦多，任何城市想创造无摩擦又高效的交通网络的话都可能实现。（谁不想哦？） 今天，Sidewalk Labs 以与城市协作的项目经验为基础，发布了自己的迷你企业项目 Coord。 Sidewalk Labs 正在推出自己的小型企业「Coord」，这是一个基于云端的平台，整合了过去几年在世界各地涌现的许多移动服务。 「Coord」可以实现在许多运输周边公司那里「听说过，没见过」的功能。 「Coord」会建立云平台，整合近几年在全球各大城市兴起的许多移动服务，譬如共享单车，共享租车，网约车以及…像大众交通这类更传统的出行选择。 作为代价，Coord 将把关于像收费站，停车场，路沿空间的数据提供给这些企业的软件开发部门，并保证数据全面，实时，标准。 理想状态下，各城市间可以信息共享信息而不是囤在行政区的部门里。所以重点是要以 Coord 为枢纽协调起来，明白了吗？ Coord 的新任 CEO Stephen Smyth 与 13 个员工搬出了 Sidewalk Labs。 他表示：「Coord 不是要自己直接运营移动服务，而是要百分百集中在成为这些移动服务商的交集枢纽。」看来是要成为操作系统的节奏。 就像福特刚宣布的运输出行云，亚马逊网络服务（Amazon Web Services）的「未来之城」技术，西门子的智能平台，IBM 的智慧城市，Coord 致力于解决实实在在、非常恼火的城市难题。 「城市里数据已经可以调度出租车，共享单车，大型交通网络公司，以及信号灯，但是这些途径通常都是各自孤立运行，」哈佛大学肯尼迪学院研究大数据与政府的 Stephen Goldsmith 说， 「现在明显需要一个平台整合这些所有数据，因为这样的数据量可以想见将会很庞大。」整合这些数据可能实现重大交通突破，比如可以由此发现服务供给多余甚至完全闲置的区域。 但是数据合并也会带来问题。 大量宝贵的数据在交出去之前，各大城市应该考量这些数据的接手方是哪里，提供数据的目的以及披露的限度和对此的安全措施。 目前而言，Smyth 表示 Coord 处理的数据针对的是基础设施而不是个人用户，他说： 「我们现在提供的许多信息不是关于个人或他们的移动情况，而是关于路沿，收费路段，停车场这类不会具体到个人的方面。」 例如一个使用 Coord 的共享单车企业，可以在像谷歌地图这样的导航 app 上，看到和自己提供的服务平行的其他出行工具。 终端用户定位到一个自行车后，可以在几个运营商间比价然后再骑，全过程不会留下信用卡信息。 又比如路桥收费商与 Coord 合作的话，可以推送浮动的公路收费价格，这样驾驶者在出门前就了解到路上的花费。 Sidewalk Labs 已经掌握了相当一部分私有停车场的数据信息，驾驶者早就在谷歌地图 app 上找到收费停车点，缩减了四处找地方停车而浪费的时间。 1、而现在 Coord 推出一个叫「Surveyor」的新工具，是让调查员可以通过 AR 技术，在仅仅 4 分钟内，数字化处理整个街区上的路沿空间。 该公司已经在纽约、洛杉矶、旧金山和西雅图的核心商区实现了这样的数字化处理路边情况的功能——包括停车收费表，停车标识以及路边线。 2、这意味着，曾经无法在整个城市区域层面准确统计到的停车点数量，现在可以随时统计到了，而且可以因需再分配、布置。也许这里设置了共享单车站的话，那里就安置个预约汽车共享点。 当然，操作系统好不好还是取决于在其中运行的应用程序。Smyth 表示 Coord 现在正忙着和各种类型的服务提供商建立合作，他自己也是非常忙。不管怎么说，还是暂且欢迎互联网企业走进现实生活吧。 ]]> 原文： http://ift.tt/2DWdvtq 机器知心

第十八课：seq2seq（编码器和解码器）和注意力机制

时间：北京时间 2月3号星期六早11点到中午12点地点：将门斗鱼直播：https://www.douyu.com/jiangmen主讲人：Aston Zhang 在循环神经网络中我们学习了如何将一个序列转化成定长输出（例如一个标签）。本节课中，我们将探究如何将一个序列转化成一个不定长的序列输出（例如一个不定长的标签序列）。 本节课将介绍seq2seq（编码器和解码器）以及注意力机制的设计。这些是神经机器翻译的基础知识。 本节课的大致安排： [30 mins]：seq2seq（编码器和解码器）。[30 mins]：注意力机制。 本课教程及录播将更新于以下链接： https://discuss.gluon.ai/t/topic/4495 via gluon - 知乎专栏 http://ift.tt/2DTDHc2 RSS8

IBM Watson提出人机推理网络HuMaINs，结合人机两者优势

人机交互可以用机器的优势弥补人类决策的非理性缺陷。近日，IBM Watson 研究中心联合多家研究机构提出了人机推理网络 HuMaINs 架构，论文集中讨论了三个主要问题，即架构设计、包含安全性/隐私挑战的推理算法，以及应用领域/用例。 在传统的经济学、认知心理学和人工智能领域的文献中，问题求解或推理过程通常按搜索问题空间的方式描述，该空间由问题的多个不同的状态构成，从一个初始状态开始，最终达到所需的目标状态 [1]。以初始状态为起点的每一个路径代表一个可能的策略。这些路径可能走向目标状态，或其它的非目标状态。以初始状态为起点的走向目标状态的路径被称为解决路径（solution path）。在初始和目标状态之间可能存在多个这样的路径，这些都是问题的解决方案。换种说法，即有多种方法可以求解一个给定的问题。问题求解过程是指在多个解决路径中识别最优（在给定的约束条件下）的解决路径。 该搜索过程的第一步是确定可用策略的集合，即确定策略空间。第二步是评估这些策略以确定最优的策略作为解决方案。在传统的经济学理论中，会假定理性决策者具有可能策略的集合的知识，可以评估每一个策略的后果，并拥有一个效用函数，并最大化该函数以确定最优的策略 [2]。然而，人们普遍认为人类不是理性的，而是有限理性的智能体。在有限理性框架中 [2,3]，决策者的认知、时间、信息和资源都是有限的。策略集合并不是完全先验地知道的，决策者也并不能完全知道选择特定策略的后果。因此，决策者可能无法总是为问题求解确定最优的策略。 另一方面，机器是「理性」的，因为它们有更强/更大的内存来存储替代方案，并有计算能力可以更精确地评估特定替代方案的结果。因此，机器可以帮助人类快速而准确地解决问题，因此出现了人机协作以解决问题的框架。在本论文中，通过定义 HuMaINs，作者探讨了用于推理的这一协作框架，以及与开发这一框架相关的研究挑战。该领域的三个基本研究思路已得到界定。 论文标题：Human-Machine Inference Networks For Smart Decision Making: Opportunities and Challenges 论文链接：http://ift.tt/2nANGZ3 人机推理网络（HuMaINs）的新兴范式以一种智能的方式整合了人类与机器的现代认知优势，从而解决不同的推理任务，表现要优于人类或机器单独执行的效果。尽管只针对于人类或传感器网络的推理性能优化技术已经相当成熟，HuMaINs 依然需要全新的信号处理和机器学习方案。在本论文中，我们概述了 HuMaINs 架构，并聚焦于三个主要问题，即架构设计、包含安全性/隐私挑战的推理算法，以及应用领域/用例。 图 1：概念性 HuMaINs 架构 图 1 展示了典型的人机推理网络（HuMaINs）。典型的 HuMaINs 由一个社交网络和一个机器网络构成。在社交网络中，人类互相交换主观观点；在机器网络中，机器互相交换客观度量。此外，通过社交网络和机器网络的交互，由人类行为特征决定的算法传递给机器，然后这些算法反过来影响人类的行为。因此，通过结合人类和机器的优势，人类和机器之间的智能协作可以提供更优的结果。 人机交互的架构可以分成三类：（1）人类直接控制自动化系统；（2）自动化系统监控人类，在必要时采取行动；（3）两者的结合。为了达到 HuMaINs 的目标，构建一个可以融合人类和机器的决策过程的架构是很关键的。文献 [6] 中宣称，为现代自动化系统创建顶尖的操作环境，需要在三个主要的领域持续开发新的技术：决策支持工具、人体工程和可视化工具、易用的复杂系统。 图 2：设计和分析 HuMaINs 的一般方法 HuMaINs 的关键研究领域是开发新的处理人类行为数据的算法。这个领域演变成了一种新兴研究领域的范式，称为行为信号处理（behavioral signal processing，BSP）[8]。BSP 处理的是人类行为的信号。它被定义为对人类动作和行为数据的处理，进行有意义的分析，通过人类专家和自动化处理的协作，以确保及时的决策和干预。其目标是支持人类，而不是取代人类 [8]。核心要素包括人类行为的定量分析，以及交互动力学的数学建模。Narayan 和 Georgiou 将 BSP 的要素描述为，利用语音和口语交流对人类行为进行度量和建模 [8]。 在 HuMaINs 中开发 BSP 算法有两个具体的研究方向： 1. 利用统计建模技术开发人类决策的数学模型，和认知心理学密切协作。 2. 设计鲁棒的融合算法以处理智能体提供的不可靠数据，这些数据由上述开发的模型建模。 ]]> 原文： http://ift.tt/2DUAIQS 机器知心

机器学习新手必看十大算法

本文介绍了机器学习新手需要了解的 10 大算法，包括线性回归、Logistic 回归、朴素贝叶斯、K 近邻算法等。 在机器学习中，有一种叫做「没有免费的午餐」的定理。简而言之，它指出没有任何一种算法对所有问题都有效，在监督学习（即预测建模）中尤其如此。 例如，你不能说神经网络总是比决策树好，反之亦然。有很多因素在起作用，例如数据集的大小和结构。 因此，你应该针对具体问题尝试多种不同算法，并留出一个数据「测试集」来评估性能、选出优胜者。 当然，你尝试的算法必须适合你的问题，也就是选择正确的机器学习任务。打个比方，如果你需要打扫房子，你可能会用吸尘器、扫帚或拖把，但是你不会拿出铲子开始挖土。 大原则 不过也有一个普遍原则，即所有监督机器学习算法预测建模的基础。 机器学习算法被描述为学习一个目标函数 f，该函数将输入变量 X 最好地映射到输出变量 Y：Y = f(X) 这是一个普遍的学习任务，我们可以根据输入变量 X 的新样本对 Y 进行预测。我们不知道函数 f 的样子或形式。如果我们知道的话，我们将会直接使用它，不需要用机器学习算法从数据中学习。 最常见的机器学习算法是学习映射 Y = f(X) 来预测新 X 的 Y。这叫做预测建模或预测分析，我们的目标是尽可能作出最准确的预测。 对于想了解机器学习基础知识的新手，本文将概述数据科学家使用的 top 10 机器学习算法。 1. 线性回归 线性回归可能是统计学和机器学习中最知名和最易理解的算法之一。 预测建模主要关注最小化模型误差或者尽可能作出最准确的预测，以可解释性为代价。我们将借用、重用包括统计学在内的很多不同领域的算法，并将其用于这些目的。 线性回归的表示是一个方程，它通过找到输入变量的特定权重（称为系数 B），来描述一条最适合表示输入变量 x 与输出变量 y 关系的直线。 线性回归 例如：y = B0 + B1 * x 我们将根据输入 x 预测 y，线性回归学习算法的目标是找到系数 B0 和 B1 的值。 可以使用不同的技术从数据中学习线性回归模型，例如用于普通最小二乘法和梯度下降优化的线性代数解。 线性回归已经存在了 200 多年，并得到了广泛研究。使用这种技术的一些经验是尽可能去除非常相似（相关）的变量，并去除噪音。这是一种快速、简单的技术，可以首先尝试一下。 2. Logistic 回归 Logistic 回归是机器学习从统计学中借鉴的另一种技术。它是解决二分类问题的首选方法。 Logistic 回归与线性回归相似，目标都是找到每个输入变量的权重，即系数值。与线性回归不同的是，Logistic 回归对输出的预测使用被称为 logistic 函数的非线性函数进行变换。 logistic 函数看起来像一个大的 S，并且可以将任何值转换到 0 到 1 的区间内。这非常实用，因为我们可以规定 logistic 函数的输出值是 0 和 1（例如，输入小于 0.5 则输出为 1）并预测类别值。 Logistic 回归 由于模型的学习方式，Logistic 回归的预测也可以作为给定数据实例（属于类别 0 或 1）的概率。这对于需要为预测提供更多依据的问题很有用。 像线性回归一样，Logistic 回归在删除与输出变量无关的属性以及非常相似（相关）的属性时效果更好。它是一个快速的学习模型，并且对于二分类问题非常有效。 3. 线性判别分析（LDA） Logistic 回归是一种分类算法，传统上，它仅限于只有两类的分类问题。如果你有两个以上的类别，那么线性判别分析是首选的线性分类技术。 LDA 的表示非常简单直接。它由数据的统计属性构成，对每个类别进行计算。单个输入变量的 LDA 包括： 每个类别的平均值； 所有类别的方差。 线性判别分析 进行预测的方法是计算每个类别的判别值并对具备最大值的类别进行预测。该技术假设数据呈高斯分布（钟形曲线），因此最好预先从数据中删除异常值。这是处理分类预测建模问题的一种简单而强大的方法。 4. 分类与回归树 决策树是预测建模机器学习的一种重要算法。 决策树模型的表示是一个二叉树。这是算法和数据结构中的二叉树，没什么特别的。每个节点代表一个单独的输入变量 x 和该变量上的一个分割点（假设变量是数字）。 决策树 决策树的叶节点包含一个用于预测的输出变量 y。通过遍历该树的分割点，直到到达一个叶节点并输出该节点的类别值就可以作出预测。 决策树学习速度和预测速度都很快。它们还可以解决大量问题，并且不需要对数据做特别准备。 5. 朴素贝叶斯 朴素贝叶斯是一个简单但是很强大的预测建模算法。 该模型由两种概率组成，这两种概率都可以直接从训练数据中计算出来：1）每个类别的概率；2）给定每个 x 的值，每个类别的条件概率。一旦计算出来，概率模型可用于使用贝叶斯定理对新数据进行预测。当你的数据是实值时，通常假设一个高斯分布（钟形曲线），这样你可以简单的估计这些概率。 贝叶斯定理 朴素贝叶斯之所以是朴素的，是因为它假设每个输入变量是独立的。这是一个强大的假设，真实的数据并非如此，但是，该技术在大量复杂问题上非常有用。 6. K 近邻算法 KNN 算法非常简单且有效。KNN 的模型表示是整个训练数据集。是不是很简单？ KNN 算法在整个训练集中搜索 K 个最相似实例（近邻）并汇总这 K 个实例的输出变量，以预测新数据点。对于回归问题，这可能是平均输出变量，对于分类问题，这可能是众数（或最常见的）类别值。 诀窍在于如何确定数据实例间的相似性。如果属性的度量单位相同（例如都是用英寸表示），那么最简单的技术是使用欧几里得距离，你可以根据每个输入变量之间的差值直接计算出来其数值。  K 近邻算法 KNN 需要大量内存或空间来存储所有数据，但是只有在需要预测时才执行计算（或学习）。你还可以随时更新和管理训练实例，以保持预测的准确性。 距离或紧密性的概念可能在非常高的维度（很多输入变量）中会瓦解，这对算法在你的问题上的性能产生负面影响。这被称为维数灾难。因此你最好只使用那些与预测输出变量最相关的输入变量。 7. 学习向量量化 K 近邻算法的一个缺点是你需要遍历整个训练数据集。学习向量量化算法（简称 LVQ）是一种人工神经网络算法，它允许你选择训练实例的数量，并精确地学习这些实例应该是什么样的。 学习向量量化 LVQ 的表示是码本向量的集合。这些是在开始时随机选择的，并逐渐调整以在学习算法的多次迭代中最好地总结训练数据集。在学习之后，码本向量可用于预测（类似 K 近邻算法）。最相似的近邻（最佳匹配的码本向量）通过计算每个码本向量和新数据实例之间的距离找到。然后返回最佳匹配单元的类别值或（回归中的实际值）作为预测。如果你重新调整数据，使其具有相同的范围（比如 0 到 1 之间），就可以获得最佳结果。 如果你发现 KNN 在你的数据集上达到很好的结果，请尝试用 LVQ 减少存储整个训练数据集的内存要求。 8. 支持向量机（SVM） 支持向量机可能是最受欢迎和最广泛讨论的机器学习算法之一。 超平面是分割输入变量空间的一条线。在 SVM 中，选择一条可以最好地根据输入变量类别（类别 0 或类别 1）对输入变量空间进行分割的超平面。在二维中，你可以将其视为一条线，我们假设所有的输入点都可以被这条线完全的分开。SVM 学习算法找到了可以让超平面对类别进行最佳分割的系数。 支持向量机 超平面和最近的数据点之间的距离被称为间隔。分开两个类别的最好的或最理想的超平面具备最大间隔。只有这些点与定义超平面和构建分类器有关。这些点被称为支持向量，它们支持或定义了超平面。实际上，优化算法用于寻找最大化间隔的系数的值。 SVM 可能是最强大的立即可用的分类器之一，值得一试。 9. Bagging 和随机森林 随机森林是最流行和最强大的机器学习算法之一。它是 Bootstrap Aggregation（又称 bagging）集成机器学习算法的一种。 bootstrap 是从数据样本中估算数量的一种强大的统计方法。例如平均数。你从数据中抽取大量样本，计算平均值，然后平均所有的平均值以便更好的估计真实的平均值。 bagging 使用相同的方法，但是它估计整个统计模型，最常见的是决策树。在训练数据中抽取多个样本，然后对每个数据样本建模。当你需要对新数据进行预测时，每个模型都进行预测，并将所有的预测值平均以便更好的估计真实的输出值。 随机森林 随机森林是对这种方法的一种调整，在随机森林的方法中决策树被创建以便于通过引入随机性来进行次优分割，而不是选择最佳分割点。 因此，针对每个数据样本创建的模型将会与其他方式得到的有所不同，不过虽然方法独特且不同，它们仍然是准确的。结合它们的预测可以更好的估计真实的输出值。 如果你用方差较高的算法（如决策树）得到了很好的结果，那么通常可以通过 bagging 该算法来获得更好的结果。 10. Boosting 和 AdaBoost Boosting 是一种集成技术，它试图集成一些弱分类器来创建一个强分类器。这通过从训练数据中构建一个模型，然后创建第二个模型来尝试纠正第一个模型的错误来完成。一直添加模型直到能够完美预测训练集，或添加的模型数量已经达到最大数量。 AdaBoost 是第一个为二分类开发的真正成功的 boosting 算法。这是理解 boosting 的最佳起点。现代 boosting 方法建立在 AdaBoost 之上，最显著的是随机梯度提升。 AdaBoost AdaBoost 与短决策树一起使用。在第一个决策树创建之后，利用每个训练实例上树的性能来衡量下一个决策树应该对每个训练实例付出多少注意力。难以预测的训练数据被分配更多权重，而容易预测的数据分配的权重较少。依次创建模型，每个模型在训练实例上更新权重，影响序列中下一个决策树的学习。在所有决策树建立之后，对新数据进行预测，并且通过每个决策树在训练数据上的精确度评估其性能。 因为在纠正算法错误上投入了太多注意力，所以具备已删除异常值的干净数据非常重要。 总结 初学者在面对各种机器学习算法时经常问：「我应该用哪个算法？」这个问题的答案取决于很多因素，包括：（1）数据的大小、质量和特性；（2）可用的计算时间；（3）任务的紧迫性；（4）你想用这些数据做什么。 即使是经验丰富的数据科学家在尝试不同的算法之前，也无法分辨哪种算法会表现最好。虽然还有很多其他的机器学习算法，但本篇文章中讨论的是最受欢迎的算法。如果你是机器学习的新手，这将是一个很好的学习起点。 原文链接：http://ift.tt/2G5i7yQ ]]> 原文： http://ift.tt/2nAUCFv 机器知心