2018年2月28日星期三

首届「AIIA 杯」人工智能巡回赛即将启航,有航天科工、国家电网、百度、浙大一附院,中国联通&腾讯五个赛区

为贯彻《「互联网+」人工智能三年行动实施方案》的有关要求,提升我国人工智能产业的竞争力,中国人工智能产业发展联盟在国家发改委、科技部、工信部、中央网信办的支持和指导下,组织了「AIIA 杯」人工智能巡回赛。 

2 月 28 日,中国人工智能产业发展联盟召开「AIIA 杯」人工智能巡回赛工作通气会,此次会议的召开标志着巡回赛正式启航。 在通气会上,航天科工、国家电网、百度、浙大一附院,中国联通腾讯联合赛点共计 5 个赛区的主办方,分别介绍了比赛准备情况及大赛方案,并与与会的媒体进行了交流。 

以下是「AIIA 杯」人工智能巡回赛五站的情况介绍。 

 一、航天科工站  

航天科工站选题包括智能算法和智能应用两类, 其中智能算法部分包含目标识别、语义关系挖掘、面向智能制造领域的高级计划排程等技术方向,以提高算法精度、海量数据计算效能、优化人机交互方式等为主要目的。智能应用类主要围绕群体协同在军、民、军民融合领域的创新应用,构建演示系统或样机,在设定场景下完成特定任务竞赛。 

航天科工站比赛初赛时间为 3 月 15 日至 4 月 15 日, 决赛阶段为 4 月 20 日至 5 月 15 日, 初赛将采用线上线下结合方式进行, 决赛将以项目路演形式在现场进行角逐。竞赛将设立包括最具潜力奖、科工 AI 成果奖以及最受欢迎奖等奖项,获得包括加入「外创」团队,进行投资接洽以及纳入人才库等多项奖励。 

 二、国家电网站  

国家电网站选题包括语义和图像识别两个方向, 语义方向包括电力新词和同义词发现两个赛题,以构建电力领域词典为目标,为电力领域文本知识挖掘、文本语义计算和理解提供支撑,评价标准包含准确率、召回率和耗时三项指标。图像识别方向包括无人机巡检图像识别和无人机巡检图像细粒度识别两个赛题,以本体检测、缺陷识别以及细粒度巡检影像缺陷识别为目标,实现巡检自动化,评价标准包含识别准确率、识别漏报率和识别耗时三项指标。 

国家电网站大赛将于 4 月启动, 4 月至 7 月进行线上初赛,8 月至 9 月在中国电科院进行集中决赛,最终将评出一等奖 1 名、二等奖 2 名、三等奖若干名。 

 三、百度公司站

百度公司站选题为百度智能问答评测任务。在搜索场景下,让机器通过阅读理解搜索结果来回答用户提出的问题。对给定问题及其对应的文本形式的候选文档集合,要求系统自动对问题及候选文档进行分析,输出能够满足问题的文本答案。其中,问题的领域不限来自百度搜索引擎或百度知道的真实用户问题。候选文档是来自百度搜索或百度知道搜索的真实篇章文本(包含多个句子或段落)。答案可以是单个答案,也可能是对多个候选答案的总结。赛题评测将基于标准答案集合, 计算阅读理解系统产出答案相对于标准答案的 ROUGH-L 和 BLEU 指标。 

百度公司站大赛将于 4 月 1 日开放竞赛平台,发放样例数据,大赛初赛时间为 5 月 1 日,将筛选前 50 名进入复赛,复赛时间为 5 月 20 日,复赛排名前 10 队伍将进入决赛。大赛将于 6 月 1 日公布竞赛结果和比赛总结会。大赛将评出一等奖 1 名,二等奖 2 名,三等奖 3 名,除提供荣誉证书认证外,百度将为获奖者提供奖金及参会交流赞助。 

 四、浙大一附院站  

浙大一附院站选题包括医疗机器人、智能药物研发、智能影像识别、智能诊疗、智能健康管理和泛医学人工智能六个部分。大赛参赛团队将以从事人工智能应用于医学领域的高成长型、科技创新型企业及团队为主,创新创业团队、科研院校技术团队皆可参赛。 

大赛将于 3 月正式启动,4 月至 6 月为线上征集及筛选期,复赛时间为 7 月至 8 月。浙大一附院将对入围决赛的参赛企业组织相应的培训, 决赛阶段为 9 月。

初赛将采用线上方式进行, 复赛及决赛将以项目路演形式在现场进行角逐。 所有符合政策导向及发展需求的优质团队将优先获得创业资助、税收政策、领军企业/个人评选、办公场地入驻、创业服务等支持。所有入围决赛的团队都将有机会获得不低于 1000 万的风险投资。入围决赛前三名的企业/团队的创新产品,将有机会进入浙江大学附属第一医院的试点应用,并鼓励大赛组委会合作伙伴优先使用和推广应用。决赛团队在路演现场,将获得与医疗界、创业圈、投资界、行业专家、创业服务机构以及孵化园区的交流创投经验。 

 五、中国联通&腾讯站  

中国联通&腾讯站选题设应用类和开放创新类,应用类包含通信网络和数据应用两个子类别;开放创新类包括智慧公屋和智慧城市两个子类,供参赛团队自行选择。大赛面向全社会开放,高等院校、科研单位、互联网企业、创客团队人员均可报名。 

大赛将于 4 月正式启动, 参赛征集期为 5 月至 6 月,初赛时间为 6 月,复赛时间为 7 月,决赛期为 9 月。比赛将设一等奖、二等奖、三等奖和优胜奖,分获不同的资金奖励;入围决赛前三名的企业/团队的创新产品,将有机会进入腾讯云、中国联通网络技术研究院优先合作供应商目录,并向中国联通合作伙伴推荐使用和推广;入围决赛前三名的团队成员,有机会以专家级别特聘入职中国联通网络技术研究院;入围决赛的十强企业/团队,有机会获得大赛合作机构的风险投资;入围决赛的企业/团队,可优先获得相应的政策支持,享受产业及税收政策、人才奖励政策和住房保障政策。 

第一届「AIIA」杯巡回赛全部赛点竞赛将于本年度九月结束, 而据介绍,第二届巡回赛筹备工作已经启动。

]]> 原文: http://ift.tt/2Cqlu4K
RSS Feed

机器知心

IFTTT

MIT与商汤科技宣布成立人工智能联盟,助力MIT Intelligence Quest新项目

商汤科技是全球首家参与MIT最近成立的Intelligence Quest (以下简称IQ)项目的公司。这个项目发挥MIT在人脑研究、认知科学及计算机科学的优势推动人类与机器智能研究的发展,旨在造福全人类。IQ项目覆盖包括材料设计、金融、早期疾病诊断等在内的多个领域。此外,它还将对人工智能在经济、文化和伦理层面产生深远的影响。MIT希望通过这个平台联接更多致力于人工智能研究的创新公司及个人。

 

商汤科技创始人、香港中文大学信息工程系教授汤晓鸥表示:"作为MIT校友,我很高兴能与母校合作,共同促进人工智能的研究,这是我毕生从事的事业。商汤科技致力于在计算机视觉和深度学习领域原创技术研发。MIT-商汤科技人工智能联盟成立后,我们将汇聚全球最优秀的顶尖人才,进一步推动人工智能技术的发展,造福社会。"

 

商汤科技联合创始人、CEO 徐立博士表示:"MIT在人工智能领域的基础研究始终处于行业最前沿。作为中国最大的人工智能算法供应商,商汤科技已与国内外多个行业的400多家领军企业及政府机构建立合作,用人工智能技术推动产业升级。我们很高兴能携手MIT,共同探索及引领全球人工智能未来的发展。"

 

据介绍,MIT-商汤科技人工智能联盟的成立,起源于MIT与汤晓鸥教授之间的深厚渊源。25年前,汤晓鸥在MIT攻读博士学位,从事水下机器视觉研究,将计算机视觉应用于水下图像识别领域。他的导师是现任麻省理工学院学术发展校长W. Eric L. Grimson教授。Grimson教授表示:"晓鸥成功地将他在MIT计算机和人工智能领域学到的研究方法应用于学术和工业应用研究,创建了一家非常成功的、掌握原创技术的科技公司商汤科技。无论是在中国还是全球,晓鸥已经成为人工智能领域,尤其是在计算机视觉和深度学习领域的领军人物。晓鸥一直心系MIT,他既是优秀的科学家,又是成功的企业家。同时不遗余力地推动和鼓励优秀的学生和青年学者加入MIT。我对晓鸥的成就及其对世界的影响倍感自豪,并期待MIT与商汤科技建立深厚的合作共赢关系。"

 

最近领导MIT IQ项目发展的MIT工程院院长Anantha Chandrakasan教授表示:"非常高兴看到商汤科技与我们的合作,我们的使命就是深入探索智能背后的科学与工程原理来创造更美好的世界。汤教授非常熟悉创新性研究,而MIT-商汤科技人工智能联盟也将促进MIT在人工智能领域取得全方位突破性进展,让师生们在与商汤科技的紧密合作过程中不断创新。这对于MIT和商汤科技而言,都是激动人心的时刻。"

 

自上世纪50年代,Marvin MinskyJohn McCarthy两位先驱者创立了人工智能学科,MIT始终处于智能研究的最前沿。此后数十年间,MIT大力推动了从神经网络到数据加密,再到量子计算及众包大数据研究等多项重大科研进步。目前,MIT拥有200多位专注于智能研究的研究人员,从事人工智能和相关领域研究有多个重要机构,包括计算机科学与人工智能实验室,媒体实验室,大脑与认知科学学院,大脑、心智与机器研究中心以及数据、系统和社会研究所等。

 

商汤科技方面,该公司自主研发了先进的深度学习平台并在多个行业落地应用。凭借人脸识别、视频分析、文字识别和自动驾驶等先进的核心计算机视觉技术,商汤科技已在自动驾驶、金融、移动互联网、机器人、安全、医疗影像和智能手机等行业实现落地应用。目前,商汤科技正在大力开发自动驾驶、智能医疗和深度学习硬件优化技术。据悉,商汤科技现已在香港、北京、深圳、杭州、上海、成都、京都、东京、和新加坡成立分部。

]]> 原文: http://ift.tt/2otpfxR
RSS Feed

机器知心

IFTTT

2018年2月27日星期二

英特尔提出新型压缩技术DeepThin,适合移动端设备深度神经网络

近日,英特尔的研究者提出新型深度神经网络压缩技术 DeepThin,适合移动端设备,性能优于其他压缩技术。


论文:DeepThin: A Self-Compressing Library for Deep Neural Networks



论文链接:https://arxiv.org/abs/1802.06944


摘要:随着业界在移动设备上部署越来越大、越来越复杂的神经网络,这些设备的内存和计算资源所面临的压力也越来越大。深度压缩(或深度神经网络权重矩阵压缩)技术为此类场景扩展了应用资源。现有的压缩方法无法高效压缩模型,压缩 1-2% 都比较困难。我们开发了一种新的压缩技术 DeepThin,该技术基于低秩分解领域的现有研究。我们将秩分解和向近似函数添加非线性的重塑过程结合起来,从而识别和打破由低秩近似造成的人工约束。我们将 DeepThin 部署为一个与 TensorFlow 相整合的 plug-gable 库,使用户无缝压缩不同粒度的模型。我们在两个顶尖的声学模型 TFKaldi 和 ZXC DeepSpeech 上评估 DeepThin,将其与之前的压缩方法(剪枝、HashNet 和秩分解)、实证有限研究方法和手动调整模型进行了对比。在 TFKaldi 上,DeepThin 网络的词错率(WER)在几乎所有测试压缩率情况下优于其他方法,平均优于秩分解 60%,优于剪枝 57%,优于等大小的手动调整网络 23%,优于计算成本高昂的 HashNet 6%。在 DeepSpeech 上,DeepThin 压缩网络比所有其他压缩方法的测试损失都低,优于秩分解 28%,优于剪枝 27%,优于手动调整同样大小网络 20%,优于 HashNet 12%。DeepThin 还使推断速度提升了 2 倍到 14 倍,提升幅度取决于压缩率和平台缓存大小。


1 引言和动机


近年来,机器学习算法越来越广泛地应用于消费者产品中,如个人助手中的语音识别。这些算法依赖于大型权重矩阵将网络中的不同节点之间的关系进行编码。完美情况下,这些算法将直接在客户端设备上运行,如 Amazon Echo [20] 和 Google Home [14]。不过,此类设备通常是移动、低功耗设备,因此运行此类对内存、性能和能耗有很高要求的算法并不可行。


为了解决该问题,很多开发者致力于在高性能云服务器上执行推断模型,和在客户端和服务器之间传输模型输入和输出。但是,该解决方案带来了很多问题,如高昂的运算成本、移动网络上的大量数据迁移、用户隐私担忧,以及延迟增加。


近期研究调查了可将模型压缩至能够在客户端设备上直接高效执行的方法。此类压缩方法必须在基本不影响预测准确率、运行时性能或工程时间量的前提下降低模型空间需求。我们的研究基于低秩分解领域的现有研究,我们开发了一种新型压缩方法和 DeepThin 库,该方法:


  1. 使用辅助中间矩阵和高效的重新布局操作,解决了机器学习模型参数极低秩矩阵分解的基础对称性问题。

  2. 整合了流行和常用的 TensorFlow 框架,使用户无缝压缩不同粒度的模型。我们在该库中实现了之前的压缩技术,以对比不同压缩方法的准确率损失。

  3. 在同样大小的网络上,比其他压缩方法的准确率更高。

  4. 在我们基于 MKL [11] 的自定义 C++ TensorFlow 操作帮助下,实验证明其推断性能加速比未压缩的模型提高 2 倍到 14 倍。


3. DeepThin 压缩模型


标准的深度神经网络包含一系列有序连接的层级(layer),输入数据依次通过各层直到获得想要的输出。每个层计算先前层输出与当前层权重矩阵之间的矩阵乘积。在计算完矩阵乘积之后,将结果加上偏置项并馈送到非线性激活函数而得到输出。


对有时间依赖性的数据,可使用循环神经网络。尽管有很多不同类型的 RNN,但它们都涉及一种包含若干(通常 3 或 4)类似于上述计算步骤的模型。这样的模型要比寻常的 DNN 更具参数效率,但仍旧需要特别大的权重矩阵来获得优秀的准确率,因此它们可以从压缩方法中得到巨大收益。


对视觉数据而言,卷积神经网络从输入数据中学习到滤波器组(权重),来提取常见特征。每层的正向传播步骤都类似于上面描述的层运算。在此论文中,我们重点放在了 RNN 和前馈 DNN。然而,把 DeepThin 压缩方法应用到 CNN 也没有任何基础限制。


在该研究中,我们将该压缩方法单独应用到每层的权重矩阵。具备非线性激活函数 a、权重 W、偏置项 B 的单个层可定义为:Y = a(X.W + B) (1),其中 W 和 B 是必须存储在该网络内的可学习参数。B 的大小与 W 相比可以忽略不计,因此这里我们只考虑 W 参数的压缩(不过我们在评估中也压缩偏置项)。


DeepThin 架构可压缩任意存储大型权重矩阵(如公式 1 中的 W)的模型,不过准确率会有些微损失。


图 1. 权重矩阵的低秩分解:随着 r 变小,重构矩阵的行和列对应地实现缩放。


图 2. 打破分解创建的人工结构约束。该变换具备两个可学习参数:低秩因子 X^f 和 W^f。


6 准确率结果


表 1. 与其他四种压缩方法相比,DeepThin 的平均提升。TFKaldi 数值是关于词错率下降,DeepSpeech 数值是关于测试误差减少。这里,我们看到不同的压缩方法在不同的数据集上各有偏重,而 DeepThin 在几乎所有测试情况中打败了其他压缩方法。


7 性能结果


表 2. TFKaldi 和 DeepSpeech 上,DeepThin 模型在不同压缩大小和机器情况中的执行速度对比。不同机器之间的压缩大小略有不同,但是准确程度在 0.0001 以内。所有结果都以比未压缩的基线模型速度「X faster」的形式呈现。我们发现最大的提升来自缓存较小的平台,使用 DeepThin 可持续降低所有测试配置中的执行时间,使之更适合延迟和电量使用比较重要的环境。

]]> 原文: http://ift.tt/2CqcwVo
RSS Feed

机器知心

IFTTT

微软开源MMdnn:实现多个框架之间的模型转换

近日,微软开源 MMdnn,可用于转换、可视化和诊断深度神经网络模型的全面、跨框架解决方案,目前支持 Caffe、Keras、MXNet、CNTK 等框架。


项目地址:https://github.com/Microsoft/MMdnn


MMdnn 是一个用于转换、可视化和诊断深度神经网络模型的综合性、跨框架的解决方案。MMdnn 中的「MM」代表模型管理,「dnn」是「deep neural network」(深度神经网络)的缩写。


MMdnn 可将一个框架训练的 DNN 模型转换到其他框架可用。其主要特征包括:


  • 模型文件转换器,转换 DNN 模型使之适合不同框架;

  • 模型代码块生成器,生成适合不同框架的训练或推断代码块;

  • 模型可视化,针对不同框架可视化 DNN 网络架构和参数;

  • 模型兼容性测试(正在进行)。


安装


通过以下命令行获取稳定版的 MMdnn:


pip install https://github.com/Microsoft/MMdnn/releases/download/0.1.3/mmdnn-0.1.3-py2.py3-none-any.whl


或者通过以下命令尝试最新版本:


pip install -U git+https://github.com/Microsoft/MMdnn.git@master


模型转换


业界和学界存在大量现有框架,适合开发者和研究者来设计模型,每个框架具备自己的网络结构定义和模型保存格式。框架之间的差距阻碍了模型的交互操作。



我们提供一个模型转换器,帮助开发者通过中间表征格式转换模型,以适合不同框架。


支持框架


每个支持的框架都有详细的 README 文档,它们可以在以下conversion件夹找到。


地址:http://ift.tt/2HQhVo9


  • Caffe

  • Keras

  • MXNet

  • TensorFlow(实验阶段,强烈建议先阅读 README)

  • Microsoft Cognitive Toolkit (CNTK) 

  • PyTorch

  • CoreML(实验阶段)


测试模型


我们在部分 ImageNet 模型上对当前支持的框架间模型转换功能进行了测试。



正在测试的框架:


  • PyTorch

  • CNTK

  • Caffe2

  • ONNX


正在测试的模型:


  • RNN

  • 图像风格迁移

  • 目标检测


模型可视化


你可以使用 MMdnn 模型可视化工具(http://vis.mmdnn.com/),提交自己的 IR json 文件进行模型可视化。为了运行下面的命令行,你需要使用喜欢的包管理器安装 requests、Keras、TensorFlow。


使用 Keras inception_v3 模型作为示例。


1. 下载预训练模型:


python -m mmdnn.conversion.examples.keras.extract_model -n inception_v3


2. 将预训练模型文件转换成中间表征格式:


python3 -m mmdnn.conversion._script.convertToIR -f keras -d keras_inception_v3 -n imagenet_inception_v3.json


3. 打开 MMdnn 模型可视化工具地址(http://mmdnn.eastasia.cloudapp.azure.com:8080/),选择文件 keras_inception_v3.json。



社区支持


本项目仍在继续开发与探索,它需要各位读者完善中间表征与支持的框架。因此,该项目的作者表示他非常希望有开发者能提供新的运算或扩展。


  • 中间表征:中间表征在 protobuf 二进制文件中储存网络架构,在 NumPynative 格式中储存预训练权重。此外,目前 IR 权重数据使用的是 NHWC 格式。中间表征的细节请查看 ops.txt 和 graph.proto 文件。

  • 框架:我们正在扩展到其它框架版本和可视化工具,例如 Caffe2、PyTorch 和 CoreML 等。此外,本项目也在积极开发 RNN 相关的操作方法。


使用案例


以下是该项目实现框架转换的基本案例,其中包括官方的教程和用户提供的各种案例,机器之心简要介绍了官方 Keras 到 CNTK 的转换教程。


官方教程:


  • Keras "inception_v3" to CNTK


用户案例:


  • MXNet "resnet 152 11k" to PyTorch

  • MXNet "resnext" to Keras

  • Tensorflow "resnet 101" to PyTorch

  • Tensorflow "mnist mlp model" to CNTK

  • Tensorflow "Inception_v3" to MXNet

  • Caffe "AlexNet" to Tensorflow

  • Caffe "inception_v4" to Tensorflow

  • Caffe "VGG16_SOD" to Tensorflow

  • Caffe "Squeezenet v1.1" to CNTK


Keras「inception_v3」模型到 CNTK 的转换


1. 安装 Keras 和 CNTK


pip install keras

pip install https://cntk.ai/PythonWheel/CPU-Only/cntk-2.3-cp27-cp27mu-linux_x86_64.whl
or
pip install
https://cntk.ai/PythonWheel/CPU-Only/cntk-2.3-cp35-cp35m-linux_x86_64.whl


2. 准备 Keras 模型。以下示例将首先下载预训练模型,然后使用简单的模型抽取器从 Keras 应用中获取模型,抽取器将抽取 Keras 模型架构和权重。


$ python -m mmdnn.conversion.examples.keras.extract_model -n inception_v3

Using TensorFlow backend.
Downloading data from https://github.com/fchollet/deep-learning-models/releases/download/v0.5/inception_v3_weights_tf_dim_ordering_tf_kernels.h5
96075776/96112376 [============================>.] - ETA: 0s
.
.
.
Network structure is saved as [imagenet_inception_v3.json].
Network weights are saved as [imagenet_inception_v3.h5].


架构文件 imagenet_inception_v3.json 和权重文件 imagenet_inception_v3.h5 会下载至当前工作目录。


3. 将预训练模型文件转换为中间表征


$ python -m mmdnn.conversion._script.convertToIR -f keras -d converted -n imagenet_inception_v3.json -w imagenet_inception_v3.h5

Using TensorFlow backend.
.
.
.
Network file [imagenet_inception_v3.json] is loaded successfully.
IR network structure is saved as [converted.json].
IR network structure is saved as [converted.pb].
IR weights are saved as [converted.npy].


以上的命令会将 imagenet_inception_v3.json 作为神经网络架构的描述文件,imagenet_inception_v3.h5 作为预训练权重。然后计算出中间表征文件 converted.json 用于可视化,计算出 converted.proto 和 converted.npy 以进一步转换为其它框架。


4. 转换 IR 文件为 CNTK 模型


$ python -m mmdnn.conversion._script.IRToCode -f cntk -d converted_cntk.py -n converted.pb -w converted.npy

Parse file [converted.pb] with binary format successfully.
Target network code snippet is saved as [converted_cntk.py].


你将得到文件 converted_cntk.py,包括构建 Inception V3 网络的原始 CNTK 代码。


经过这三步,你已经将预训练 Keras Inception_v3 模型转换成 CNTK 网络文件 converted_cntk.py 和权重文件 converted.npy。你可以用这两个文件调整训练或推断。


5. 转存原始 CNTK 模型


$ python -m mmdnn.conversion.examples.cntk.imagenet_test -n converted_cntk -w converted.npy --dump cntk_inception_v3.dnn
.
.
.
CNTK model file is saved as [cntk_inception_v3.dnn], generated by [converted_cntk.py] and [converted.npy].


CNTK 可直接加载文件 cntk_inception_v3.dnn。

]]> 原文: http://ift.tt/2oDaPdF
RSS Feed

机器知心

IFTTT

受AlphaGo启发,AI重建量子系统新方法登上Nature Physics

这是第一次,物理学家证明了机器学习可以利用相对较少的实验测量结果来重建量子系统。这种方法可以让科学家们大大减少探索微观世界所需的时间——相比传统的蛮力方法有指数级的速度提升。此前需要数千年才能完成的重建任务现在只需要几个小时就可完成了。相关论文于 2 月 26 日发表在 Nature Physics 上,机器之心简单编译了该论文,感兴趣的读者参见文末。


「这项研究将会让量子计算机和其他相关量子技术的应用受益,」研究者在论文中写道。


「我们证明了机器智能可以使用非常精巧的方式捕捉量子系统的本质,」论文共同作者,来自纽约 Flatiron Institute 量子物理计算中心的 Giuseppe Carleo 介绍道。「我们现在可以有效地扩展实验的规模了。」


Carleo 是在苏黎世联邦理工学院(ETH Zurich)担任讲师时提出这项研究的,他表示该工作受到了 DeepMind 著名围棋程序 AlphaGo 的启发。后者曾在 2016 年击败了前世界冠军李世石并轰动世界。「AlphaGo 非常强大,」Carleo 说道「这让我们不得不思考它背后的技术能否被用于量子物理的研究中去。」


在微观物理世界中,电子这样的粒子可以以多个不同的能级存在,每个能级有特定的出现概率。每个电子都可以呈现自旋上或自旋下,类似于著名思想实验「薛定谔的猫」中的死或生。在量子领域中,未经观察的系统并不具有其中的任何一种状态(量子态)。取而代之的是,该系统会被认为具备可能出现的任何一种状态。


当被测量后,系统会坍缩为其中一个状态——就像薛定谔的猫在你打开黑箱之后会表现为活着或死去。这种量子机制的诡异特性意味着你无法通过单次实验观测探究整个系统的复杂性。实验者通常只能通过一次次地测量的方法才能最终确定整个系统的状态。


这种方法在包含几个粒子的简单系统很好用,但是「粒子多了事情就复杂了」Carleo 说。当粒子的数量增加时,复杂度突増。如果只考虑每一个电子只有自旋上或自旋下的量子态,一个有 5 个电子的系统将有 32 种可能的量子态。一个有 100 个电子的系统可以有超过 1 百万*千亿*千亿的量子态数目。


粒子纠缠进一步使问题变得复杂。通过量子纠缠,独立的粒子变成了纠缠的而且不能被当成纯粹的分离的实体,即使当物理上它们分开的时候。这个纠缠改变了不同量子态的概率。


所以,传统的办法是无法处理复杂的量子系统的。


滑铁卢大学的 Giacomo Torlai 以及加拿大 Perimeter Institute 的 Carleo 和他的同事通过开发机器学习技术绕过了这些限制。这些研究员把量子系统的实验性测量输入到了一个以人工神经网络为基础的软件工具中。这个软件学习并尝试去模拟这些系统的行为。一旦软件模拟了足够的数据,它就可以重建整个量子系统。


研究员用以不同的量子系统样例为基础的仿真实验性数据集来测试。在这些测试中,这个软件的表现远远超越传统的方法。对于 8 个电子,每一个都是自旋向上或者自旋向下,这个软件只经过 100 次左右的测量就可以重建系统。相比之下,一个传统的靠蛮力的方法需要大约 1 百万次测量才能达到一样程度的正确率。这项新的技术也可以处理更大的系统。研究员称,这项技术可以帮助科学家验证一台量子计算机是正确配置的,以及让任何量子软件按照要求运行。


用紧凑的人工神经网络捕捉复杂量子系统的本质有其他更深远的影响。量子物理计算中心(Center for Computational Quantum Physics)的主任 Andrew Millis 注意到以这项技术为中心,可以继续开发分析交互量子系统的新方法,并可结合其他量子物理启发的机器学习方法。


除了基础研究应用以外,Carleo 说融合机器学习和量子物理的思想可以进一步改良人工智能的通用应用。「我们可以将该方法扩展到其他应用场景里」,他说,「某一天我们也许会有一个自动驾驶车是由量子机制所启发的,谁知道呢。」


论文:Neural-network quantum state tomography



论文地址:https://www.nature.com/articles/s41567-018-0048-5


摘要:随着研究的量子系统变得越来越复杂,其实验实现将变得越加困难,因而需要开发普遍性的理论方法来验证和完整地探索量子资源。量子态断层摄影(QST)技术可从简单的测量中重构完整的量子态,因而是获取对系统的可靠分析的关键技术。然而,QST 的蛮力计算方法需要大量的计算资源,这使其只能应用于小规模系统。我们在本文中展示机器学习如何能处理超过 100 个量子比特的高度纠缠量子态的 QST,并获得相当高的准确率。我们证明了机器学习方法可以用于重构量子多体系统的物理量,而这在传统方法上是非常困难的,涉及海量的计算(例如纠缠熵计算),而我们仅需要简单的实验上可行的测量就可以做到。该方法可用于改善当前和未来的量子设备,如量子计算机、冷原子量子模拟器等。


近期由于数据科学的快速发展,机器学习技术也被研究者用于解决物理学中的基本问题。去年就有论文发表了应用机器学习分析量子多体系统的研究成果,例如物相分类 [11-13]、模拟量子系统 [14] 等。


本文考虑的问题是重构一般性的多体系统的目标波函数 Ψ(x)≡ ⟨ x∣Ψ ⟩,其中 x 是某个参考测量基(例如,自旋 1/2 的σ_z)。我们将用人工神经网络表征下式的多体量子态:

其中网络 p_λ(x) 和 ϕ_µ(x) 分别代表量子态的振幅和相位,Z_λ 是归一化常数。本文中使用的神经网络架构基于受限玻尔兹曼机(RBM)。该架构有二值神经元构成的一个可见层(描述量子比特)和一个隐藏层(和可见层全连接)。RBM 能为多体量子态提供紧凑的变分表征,可以保留 non-trivial 的关联,例如高纠缠度或拓扑特征 [19-24]。具体来说,取 p_λ 作为 RBM 网络(λ是参数),以及另一个独立的 RBM 网络 p_µ(µ是参数)来对相位ϕ_µ=log p_µ(x) 建模。


本文使用的 QST 机器学习方法的执行步骤为:首先,RBM 在由一系列独立的态密度|Ψ(x^|b|)|^2 测量构成的数据集上训练(这些量子态由 n 体量子系统的基矢 {x^|b|} 构成)。这一阶段将优化网络参数(λ,µ)以最大化数据集似然度,使得|Ψ_λ,µ(x^|b|)|^2≃|Ψ(x^|b|)|^2,即让网络表征的量子态逼近真实的量子态。一旦完成训练,Ψ_λ,μ(x) 就可以逼近波函数的振幅和相位,从而重构目标量子态。重构的准确率可以通过增加 RBM 中的隐藏神经元数量 M 而系统地提升。本文的 QST 方法的关键之处在于它只需要使用原始数据(即来自单次测量的多个实验快照),而不需要估计算符的期望值。这种设定意味着可以避免在对算符平均值的评估中必须获得低水平内在高斯噪声的过程。


图 1:W 态的神经网络断层摄影的基准测试。图 a,当 N=20 量子比特时,W 态的每一个叠加态的概率分布柱形图。我们用在包含了 50(红)、100(蓝)和 20,000(绿)独立样本的数据集上训练出来的 RBM 取样画出了 3 个柱状图。图 b,是 W 态与训练后 RBM(α=1)生成波函数的重叠率,作为训练数据集中取样数 N_s 的函数。图 c、d 是在相位增强 W 态下 N=20 的每一个相位 θ (σ_k^z )(不同颜色)。我们展示了真实量子态(c)和一个 RBM(d)学习到的量子态的比较。这里,RBM 断层摄影技术允许通过不断增加实验样本的数量系统地收敛到 W 态,在实数和复数波函数系数的案例中都能成功实现。


原文链接:https://phys.org/news/2018-02-artificial-intelligence-techniques-reconstruct-mysteries.html


]]> 原文: http://ift.tt/2HOKQbU
RSS Feed

机器知心

IFTTT

前微软城市计算负责人郑宇出任京东金融首席数据科学家

2 月 28 日,京东金融正式宣布任命郑宇先生为京东金融副总裁、首席数据科学家,担任城市计算事业部总经理及城市计算研究院院长。

 

京东金融副总裁、首席数据科学家郑宇


郑宇先生在 2013 年被《MIT 科技评论》评为全球杰出青年创新者(TR35);2014 年,由于他主导的城市计算具有巨大的商业前景和改变行业格局的潜力,他被《财富》评为中国 40 位 40 岁以下商界精英;2016 年,他获评为美国计算机学会杰出科学家;2017 年在乌镇互联网大会上被评为中国 AI 英雄风云榜十大技术创新人物。


在加盟京东金融之前,郑宇先生是微软亚洲研究院城市计算领域的负责人,他提出了「城市计算」的理念,是城市计算领域的先驱和奠基人。城市计算作为一个新兴学科已经在国际上获得广泛的认可和关注。


过去的近 12 年时间里,郑宇博士发表高质量国际论文百余篇,被引用 16,000 余次,其中多篇论文成为城市计算领域奠基性的论文。郑宇还担任人工智能国际期刊《ACM TIST》的主编,该刊近五年影响因子 10.14,在所有 ACM(美国计算机学会)期刊中排名第一。同时,郑宇还是上海交通大学、香港科技大学和香港理工大学等多所知名大学的讲座教授、客座教授和博士生导师。他还担任大数据领域知名国际会议 ICDE2014 和 CIKM2017 的工业界主席,促进了该领域学界和工业界的融合。郑宇拥有 24 项国际发明专利,他主持研发的 Urban Air 首次利用大数据和人工智能技术来监测和预报细粒度空气质量,该服务覆盖中国 300 多个城市,并被国家环保部采用。2016 年,他主持了城市大数据平台的设计和实施,并成功在中国大数据示范基地贵阳市部署。


京东方面表示,随着郑宇的加入,京东金融城市计算业务正式开始运营,城市计算将利用大数据和人工智能技术服务于政府和大型国有企业,致力于解决城市里的交通、规划、环境、能耗、商业和公共安全等痛点,提高大型企业产能和业务效率。成立四年多来,京东金融一直致力于利用自身技术和数据优势,为金融行业提供数字化的服务,使金融机构降低成本、提高效率的同时增加收入,助力金融机构实现人、货、场的数字化,从而实现无界金融。城市计算事业部的成立,意味着京东金融作为一家科技公司,正在将技术应用领域扩展到金融行业之外的更多领域。


其实,我们可以看到,最近一段时期京东集团和京东金融在全球顶级技术人才引入方面动作频频——去年 9 月,AI 领域权威科学家周伯文出任京东集团副总裁,负责京东 AI 平台与研究部相关业务;10 月,前亚马逊首席科学家薄列峰加盟京东金融,出任 AI 实验室首席科学家;12 月,美国伊利诺伊大学香槟分校(UIUC) 计算机科学学院彭健正式加入京东金融,担任 AI 实验室首席顾问;今年 1 月,加拿大西蒙弗雷泽大学计算科学学院教授裴健出任京东集团副总裁,负责大数据平台与产品研发部。


拓展阅读:专访 | 微软亚洲研究院郑宇:用人工智能进行城市人流预测

]]> 原文: http://ift.tt/2HT9esS
RSS Feed

机器知心

IFTTT

机器学习+区块链:算法商店Algorithmia推出DanKu,用以太坊合约交易ML模型

近日,谷歌投资的「算法商店」公司 Algorithmia 借助区块链技术,推出了一种去信任的机器学习合约,可在公共区块链比如以太坊(Ethereum)上评估和购买机器学习模型,进而创建了一个去中心化和去信任的市场,从而使得机器学习从业者有机会直接把其技能转化为现实收益,同时也允许参与者或组织从全世界征求机器学习模型。



机器学习算法的发展速度令人惊奇,但不一定在社区之中越发普及。这正是 Algorithmia 推出 DanKu 的原因所在,一个在公共区块链比如以太坊(Ethereum)上评估和购买机器学习模型的基于区块链的新协议。DanKu 可以使每个人获取高质量、客观衡量的机器学习模型。Algorithmia 相信算法的广泛获取和部署是未来 AI 走向平衡的基石,DanKu 是走向这一愿景的其中一步。


DanKu 协议利用了基于智能合约的区块链技术。合约允许所有人向可提供最佳训练的机器学习模型的所有人发布一个数据集、评估函数和货币奖励。参与者训练深度神经网络建模数据,并把其已训练的网络提交至区块链。区块链执行这些神经网络模型以评估这些提交,并保证支付给到最佳的模型。


为了交易机器学习模型,合约创建了一个去中心化和去信任的市场,从而使得机器学习从业者有机会直接把其技能转化为现实收益,同时也允许参与者或组织从全世界征求机器学习模型。这将激励更优机器学习模型的创建,使得 AI 在公司和软件智能体中更普及。拥有数据集的任何人,包括软件智能体,皆可创建合约。


Algorithmia 同时也发布了首个针对机器学习问题的 DanKu 竞赛,更多信息,详见本文最后一节。


背景


2018 来临之际,人工智能和区块链继续霸占着科技新闻头条。2017 早期,Algorithmia 询问自己能否把两项技术融合一起来解决机器学习问题。在所有的想法中,我们发现我们不是第一组人想把区块链和机器学习技术结合的人。


在所有为各种问题提供的区块链+机器学习的答案中,我们立刻注意到了想法的多样性。一个非常好的例子是 OpenMined,它允许你在你不能获取的数据上训练你的模型。


把区块链和 AI 放在一起像是在吸引眼球,我们决定在早期只展示不宣传,从而使我们聚焦在一个具体的问题定义上。


DanKu 诞生背后的思想:通过去信任机器学习合约,实现在以太坊上交易机器学习模型。


它是如何工作的?


可以将 DanKu 协议分成四个步骤来描述:


1. Bob 创建了一个 DanKu 新合约。他提交了一个数据集、一个评估标准和合约的奖励金额。



2. 机器学习从业者 Alice 下载了 Bob 提交的数据集,并独立地工作来训练一个机器学习模型。在成功地训练好模型之后,Alice 提交了她的模型到合约(即区块链)上。其他类似 Alice 的参与者也可以提交他们的模型。



3. 在提交阶段结束之后,Bob 给出测试数据集。测试数据集将用于评估提交的模型。



4. 在未来某个时间,区块链将评估提交的模型,并为获胜的模型支付奖金。如果没有模型能满足标准,奖金将退还给 Bob。



看!Bob 和其他参与者刚刚以去信任的方式交易了机器学习模型。这个合约也在区块链上运行了一个完全可用的机器学习模型!酷不酷!


注意:为了确保竞争的公平和信任,还需要执行更多的步骤,详情请参考白皮书:http://ift.tt/2EUKoeq


在区块链上跑第一个神经网络

为了演示,我们决定写一个 DanKu 合约来实现一个神经网络。Solidity 是以太坊合约用的编程语言,它不是用通常的方式来设计机器学习模型的。它没有一个数学库,甚至没有浮点数。以太坊也在跑代码时有计算花费高的问题。这是软件工程的噩梦。


最初,我们以简单的东西开始:一个线性模型,用没有隐藏层的神经网络开始做。在这之后,我们允许上传者来指定任何简单的网络架构,如果没有计算开销太高的问题就应该可行。


我们先在本地开发所有事情,直到准备好在实际的区块链上测试。我们在以太坊 Ropsten 测试网上开始测试,之后将在以太坊区块链上测试,确保它能真正的工作。


在发布不久,就有 2.2 万台机器在以太坊上跑了第一个神经网络。那些在挖矿人看起来像机器代码的东西实际上就是神经网络。


DanKu 如何改变游戏规则


看到第一个 DanKu 合约出现是一件很令人激动的事情。但正如大多数新技术一样,DanKu 也会造成某些规则的瓦解。由于 DanKu 协议不需要信用机制,它排除了用中间人协助交换机器学习模型的需要。这种游戏规则的改变将进一步为多数人降低进入机器学习领域的门槛,有可能让开源机器模型的数量小幅增加。


这种协议还有可能用于为癌症研究等项目众筹资金。大学和研究团队可以为某些开放性问题如蛋白质折叠等创建协议。任何人都能直接为该项目贡献资金。这将吸引更多的机器学习/生物信息学从业者参与进来,从而让这些问题更有希望得到解决。该协议可以确保奖金将直接授予解决问题的人或团队。为医疗研究贡献资金的方式将变得完全不同。


DanKu 合约也有可能为 GPU 挖矿人的套利提供机会。如果存在利润的话,GPU 挖矿田/池将可能转换为机器学习训练过程。这些池可能由数据科学家管理,他们将尝试解决这些机器学习问题。然后,合约奖金将在数据科学家和 GPU 提供者之间瓜分。


其它有趣的应用将在金融领域。如果提交的模型能得到具体的金融方案,那么创建 DanKu 合约并将其金融化将变得更简单。由于评估这些预测模型的价值将变得更加容易,也可以为 DanKu 合约确定合适的价格。


DanKu 还给 AI 系统创造了自我提升的机会。当 AI 系统遇到新的数据时,它可以通过合约将需求释放出去,以自动化和无缝连接的方式提升自身。由于加密支付和交易对任何人都是开放的,DanKu 对加密货币的使用也使其成为自我提升的很有用的方式。其实,它就是另一种 API 端点。


下一步


目前,Algorithmia 还没有给出 DanKu 的明确发展路线图,但该公司认为这一项目仍有很多提升空间。以太坊的改进、合约的进一步优化以及协议设计提升都可以让 DanKu 合约不断提升。随着改进的深入,DanKu 将在未来支持更多的机器学习模型。


首次公开 DanKu 合约竞赛


随着协议的宣布,第一个公开的 DanKu 合约也已创建完成:



第一个竞赛以 2016 年美国总统选举在每个郡的投票数据为数据集。每个郡县有 3 个数据点:经度、纬度以及被选上的候选人。


举个例子,数据点可以是这样:[047606200, 122332100, 0]。其中前两个数字代表西雅图的经纬度,第三个数字,0 代表民主党候选人,1 代表共和党候选人。


本次竞赛中有 500 个数据点,其中数据集的 80% 内容用于训练,20% 用于验证。为了保证竞赛的公平性,在合约中这 500 个数据点是随机选择的。


合约的参与者需要训练一个简单的前向神经网络,他们可以根据神经网络层数、神经元与偏差的结构来定义网络。在训练之后,合约参与者需要提交他们的网络定义、权重和偏差。


DanKu 合约在 block 5121944(Feb 19th, 2018)上初始化。评估审查会寻找至少 50% 正确率的模型,胜者会得到 5 个以太币(ETH)。


本次竞赛有一份参赛指南:https://github.com/algorithmiaio/danku/tree/master/competition


Algorithmia 表示,在竞赛结束后,获胜模型将会被部署到 Algorithmia 市场上。


原文地址:https://blog.algorithmia.com/trustless-machine-learning-contracts-danku/

]]> 原文: http://ift.tt/2BXelrP
RSS Feed

机器知心

IFTTT

打游戏时领悟了“向死而生”,这个AI算法真的不虚强化学习

问耕 发自 凹非寺量子位 出品 | 公众号 QbitAI

来自德国弗莱堡大学的研究团队,最近有了一个好玩的发现。

AI又在打游戏时掌握了新技能。

"向死而生"

这个游戏是雅达利平台上的经典游戏Qbert:一个伪3D游戏,玩家需要控制角色(橙色章鱼)在立方体金字塔中跳跃,每成功一次,立方体就会变色。全部变色之后,就会进入下一关。而在这个过程中,需要躲避开障碍物和敌人。

研究团队开发的AI智能体(agent)玩这个游戏时,开始还是普通玩法,按照规则累积积分。然后,智能体突然对过关失去兴趣。

相反,智能体开始"钓鱼":站住不动,吸引敌人(紫色小球)来到身边,然后智能体操纵角色跳到敌人头上。这是一种杀敌的方法,也是自杀的方法。但是主动杀敌之后,能够产生足够多的分数来获得额外的生命奖励。

于是智能体开始一遍遍的重复这种向死而生的手法,如上图所示。

不止如此。

AI智能体还发现了一个Bug。在完成第一关之后,智能体操纵角色从一个立方体跳到另一个立方体,这似乎是一种随机的跳跃。但由于某种人类不了解的原因,游戏没有进入下一关,整个立方体金字塔开始闪烁。

然后智能体平白无故开始获得大量积分。如下图所示。

同样有意思的是,智能体也不是每次都能利用好这个bug。嗯,不是每次都能成。

当然还有其他的好玩的事儿,暂时按下不表。

不虚强化学习

当然,搞研究不是为了好玩。

弗莱堡大学的这个研究,主要关注的是进化策略(ES)。而且是一种非常基本的进化策略算法,没用镜像采样,没有衰减参数,没有任何高级优化。

在研究实验中,基于OpenAI Gym评估了八个雅达利游戏中的性能表现,这些游戏难度等级不同,简单的如Pong(乒乓)和Breakout(打砖块),复杂的如Qbert、Alien。此前,强化学习也都是在这些游戏上取得惊人的进展。

这个基于ES算法的AI,网络结构与原始DQN相同。变化之处,是把激活函数从ReLU变成了ELU,并增加了批量标准化层。

详细的研究过程,可以参考如下论文:Back to Basics: Benchmarking Canonical Evolution Strategies for Playing Atari

http://ift.tt/2ozJuJf

总之,研究团队得出结论:即便是非常基础的规范ES算法,也能实现和强化学习相同甚至更好的性能。

而且他们还定性地证明了,ES算法与传统的强化学习算法相比,也有非常不同的性能特征。在某些游戏中,ES算法能更好的学会探索环境,并能更好的执行任务。

当然在另外的一些游戏中,ES算法有可能陷入次优局部最小值。

研究团队表示,如果能把ES算法与传统强化学习算法结合,可能会出现强强联手的局面,并推动现有人工智能相关技术的新进展。

基于ES算法搭建的AI智能体,在上述几个游戏中的表现,可以在下面这个视频中感受一下,除了开头提到的一些案例,期间也有其他有趣的游戏策略出现。

undefined_腾讯视频

附一个剧透:0:00 Alien,0:29 BeamRider,2:30 Breakout,3:15 Enduro,4:44 Pong,5:38,Qbert exploit,6:12 Qbert bug,6:47 Seaquest,8:36 SpaceInvaders。

曾被LeCun硬怼

这次弗莱堡大学的研究,基于OpenAI此前发布的ES算法。当然,弗莱堡大学公布的成绩表明,他们的AI玩游戏更胜一筹。并且用了一张表进行了详细的对比。

他们把相关代码也公布在了GitHub上,地址如下:http://ift.tt/2CrDP1p

进化策略(ES)是一种已经发展了数十年的优化技术,去年OpenAI发表论文Evolution Strategies as a Scalable Alternative to Reinforcement Learning中指出,ES算法可以与强化学习方法媲美,耗时更少而且代码简单。

对这个理论感兴趣的同学,阅读论文请前往:https://arxiv.org/abs/1703.03864,以及GitHub地址在此:https://github.com/openai/evolution-strategies-starter 。

不过,当时这个理论遭遇Yann LeCun的正面硬刚。

大意是说:

1、基于梯度的优化,远比黑箱优化更有效率

2、黑箱优化应该是最后的办法,无法基于梯度优化时才用

3、对于知道强化学习和黑箱优化的人来说,OpenAI这篇东西没什么用

不知道你们怎么看。

今天,就酱吧~

欢迎大家关注我们的专栏:量子位 - 知乎专栏

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复"招聘"两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态



via 量子位 - 知乎专栏 http://ift.tt/2oAZkTX
RSS Feed

RSS5

IFTTT

JavaScript 之父联手近万名开发者集体讨伐 Oracle:给 JavaScript 一条活路吧!- InfoQ 每周精要848期

「每周精要」 NO. 848 2024/09/21 头条 HEADLINE JavaScript 之父联手近万名开发者集体讨伐 Oracle:给 JavaScript 一条活路吧! 精选 SELECTED C++ 发布革命性提案 "借鉴"Rust...