2018年2月3日星期六

Hinton:人类就是机器,绝妙的机器

原文《Mr.Robot》刊载于 Toronto Life作者 KATRINA ONSTAD摄影 DANIEL EHRENWORTH编译 夏乙 唐旭量子位 出品 | 公众号 QbitAI

1

三十多年以来,Geoffrey Hinton一直徘徊在人工智能研究的边缘地带。他像一个局外人一样坚守着一个简单的观点:计算机可以像人类一样思考,依靠直觉而不是规则。

这个念头在Hinton的青少年时代已经萌芽。当时有个朋友向他描述了全息图的工作原理,物体表面无数的反射光线被记录下来,被存入一个巨大的数据库里。来自科学世家的Hinton,立刻想到大脑也是这样工作的——

海量的细胞由无尽的神经元图谱连接起来,信息在其间传递并沿着十多亿条路径传输。

少年想知道:计算机是否也能这样?

主流学术界给出的答案,是一个震耳欲聋的No。他们说,计算机最佳的学习方式,就是规则和逻辑。Hinton主张的神经网络,被他们证明是错的。

1957年,康奈尔大学的科学家Frank Rosenblatt发布了世界上第一台神经网络机器。这个机器被称为感知器(Perceptron),它的任务是图像识别。如果你给感知器看一张苹果的照片,它就能告诉你这是"苹果",理论上。

这个感知器运行在IBM的机器上。尽管有点丑,但还是激发了人们夸张的科学幻想。1958年,纽约时报预测这将是第一个能像人脑一样思考的设备,"(感知器)将能走路、说话、观察、书写、自我复制,意识到它自己的存在"。

然而并没有。这个左右都不分的机器最终成了一个笑话。彼时神经网络基本在学术圈被除名了。然而这并没有阻挡Hinton。

"大脑必然以某种方式运作,但肯定不是编好的程序,"Hinton说,"我们不是被编程的,我们有常识。"他相信神经网络并不是错,问题在于计算力。要让计算机发现图片的意义,需要先给它数百万张图片,但当时的设备还做不到。样本量太小了。

1972年,25岁的Hinton在爱丁堡大学攻读博士学位,并把神经网络作为研究重点。导师几乎每周都会提醒他在浪费时间。然而Hinton不为所动。其实神经网络当时也取得了小小的成功,在发现信用卡欺诈方面证明了自己的价值。

博士毕业后,Hinton在匹兹堡的卡内基梅隆大学(CMU)谋得一份差事。

然而作为一个骄傲的社会主义者,Hinton被当时里根政府的外交政策深深困扰。他和妻子Ros想收养一个来自南美洲的孩子,所以不想让孩子在卷入南美洲血腥冲突的国家里成长。而且,美国大部分人工智能研究都是国防部资助的,与Hinton可以说格格不入。

1987年,Hinton夫妇决定北上,接受加拿大高等研究院(CIFAR)的邀请。CIFAR为Hinton提供了学术自由,还有体面的薪水。尽管从未学过计算机课程,Hinton的新工作安排在了多伦多大学计算机专业,并为CIFAR展开机器和大脑学习项目研究。

他在圣乔治校区的桑福德·弗莱明楼有了一个小小的办公室,然后悄悄地开始工作。随着时间的推移,他身边逐渐聚拢了一小撮深度学习的信徒。

其中就包括Ilya Sutskever,他后来成为OpenAI的联合创始人。2000年代初期,Sutskever加入Hinton的实验室,当时还是AI的"冬天",搞人工智能研究既没什么就业前景,也没什么资金支持,更别提工业界的青睐。

"我们都是局外人,但我们都觉得自己抱持着稀有的洞见,觉得我们与众不同。"Sutskever回忆当年时这样说。

一直到大约2009年前后,计算机最终有了足够的算力挖掘大型数据库,从此神经网络开始在语音和图像识别方面战胜基于逻辑的系统。工业界很快注意到变化的发生,微软、Facebook、谷歌等科技巨头开始在这个领域投资。

2012年,谷歌的绝密实验室Google X,宣布建立了一个由16000个电脑处理器组成的神经网络。谷歌大脑的工程师们,在传奇人物Jeff Dean的带领下,"喂给"这个神经网络数百万随机、未被标注的YouTube视频。

随后一个激动人心的时刻来到了,这个神经网络自己学会了识别猫。"在训练中我们从没说过这是一只猫,"Jeff Dean当时说,"从本质上讲,它发明了'猫'这个概念。"

这个突破同时也把Hinton推上AI浪潮的领袖地位。2013年,Jeff Dean把Hinton招入谷歌工作。"我们本来在体制之外,力图证明传统路线是错的,然而有趣的是,转眼间我们成了正统。"Sutskever说。

曾经被抛弃的Hinton,突然成为业界最重要的人物,从默默无闻变成明星。

"我之所以有很大的影响力,是因为我是少数相信这个道路的人之一,所有相信这个方向的学生跟随着我一起工作,我必须选出那些拥有最佳判断力的人。"说到这里Hinton笑了:"判断力好意味着他们同意我的看法。"

2

从他在多伦多大学的办公室望出去,能俯瞰校园中心的主干道。Hinton一边吃着三明治,一边走来走去,不时在白板上写写画画,尝试让我更懂神经网络。

如果必须要为猫和狗分配一个性别,他画了一个小猫然后说,在我们的文化中,大多数人可能会把狗看做男性,把猫看做女性。这背后的原因不能用逻辑证明,但这种印象的确隐藏在人们的脑海里。机器想要学到的这种直觉,有着一种吸引人的诗意:

知识源于鲜活的生命,充满了累积的意义和经验。

这就是神经网络之美。"这更接近弗洛伊德,意识的薄膜、谨慎的推理以及其下所有沸腾的东西。下面这些沸腾的东西不是有意识的推理,而是其他东西——有点像类比。"Hinton说。

他不断的重复着这个基本理念。去年秋天的Google Go North大会期间,加拿大总理特鲁多、加拿大创新部长、时任Alphabet执行董事长施密特等各界知名人士,像热切的学生一样齐聚在桌前,只有Hinton站在那里没有坐下。

Hinton从不坐下。

因为他患有椎间盘突出。第一次出现问题是19岁那年,Hinton帮母亲搬一个沉重的暖器,而他本身在代谢钙方面有基因缺陷。随着时间推移,问题变得越来越糟,坐下变成一种痛苦。所以从2005年开始,他基本就不再坐着了。

但这不是一个理想的解决方案,尤其对于一位需要在全球出席各种会议的知名学者来说。Hinton有办法从多伦多到赫尔辛基,一路不坐。但这需要11天。

"首先躺在一辆开往布法罗的巴士后座上,然后换乘一辆芝加哥到纽约的卧铺,接着搭乘玛丽女王号邮轮到南安普顿,然后站到伦敦,接着乘坐欧洲之星,站到巴黎,再换卧铺到柏林,然后搭乘一辆古老的列车抵达罗斯托克,最后乘船到达赫尔辛基。"

这就是Hinton常见的说话方式,把数据切成可理解的东西,目光聚焦在远处,嘴上挂着微微的笑意。

在Go North现场,Hinton解释了他和两位谷歌工程师的最新突破:Capsule(胶囊)网络。神经网络依靠庞大的数据库学习,需要很长时间才能认识到从不同角度看到的对象,是同一个物体。而Capsule是人造神经元组成的层,能够跟踪对象各个部分之间的关系。这能让识别更快也更精准。

Capsule一直是科技世界的热门话题。纽约大学一位从事图像识别的教授,在《连线》杂志上说:"每个人都在等待它,等待Hinton下一个巨大的飞跃。"

由于Hinton研究AI的方法如此的不流行,很多这方面的专家此前都是跟在他身边学习。几十名Hinton曾经的学生,现在已经成为Facebook、谷歌、苹果、Uber等公司的核心人物,并且不断在学术界传播神经网络的"福音",成为新的布道师。

在这些分布在各大科技公司的专家眼中,Hinton是一位颇受欢迎的教授,他会和学生们一起工作,而不是仅仅指派任务。为了缓解深夜研究的紧张气氛,Hinton会把葡萄塞到嘴里,然后一个一个吐到空中再接住,表演帽子戏法。

过去十年,多伦多的人才不断外流。硅谷吞并了当地的创业公司,多伦多大学的深度学习社区也面临危机。据报道,典型的人工智能专家,甚至是新手和刚毕业的学生,都能在硅谷找到一份年薪30万-50万美元的工作,股票期权可超百万美元。

多伦多需要想办法利用Hinton的存在,吸引精锐的深度学习专家们留在、甚至是回到他们最初开始学习的地方。

最终矢量研究所(Vector Institute)成立了,Hinton答应出任首席科学顾问。加拿大希望重现往日荣光,尤其是当曾经强大的加拿大科技公司北电和黑莓覆没之后。Vector Institute成为下一个期待。

3

Hinton说过,在自己长大成人的过程中,他的母亲给过他两种选择:"做学者,或是做失败者。"

Hinton的家谱几乎完全被科学家们占据。

他的高祖父是大名鼎鼎的乔治·布尔——布尔逻辑的创立者,因"布尔检索"而闻名于世;乔治·布尔的女婿之一Charles Howard Hinton是Hinton的曾祖父,一位数学家,同时是一名科幻小说家,他创造了"超立方体"的概念,后来因在维多利亚时代的英国犯了重婚罪而逃到美国。

Hinton的中间名是Everest,一如他高祖母的叔叔、地理学家Everest,"珠穆朗玛峰"的英文名就是以他的名字命名的;Hinton父亲的表亲中还有一位Joan Hinton(也就是我们熟知的寒春)她是一位核物理学家,也是中国人民的老朋友。寒春曾经参与了美国的曼哈顿计划,后来拿到了中国绿卡。

1947年Geoffrey Hinton生于英国的温布尔顿。他的父亲Howard Hinton是一名昆虫学家,母亲Margaret Clark则是一位教师。

Hinton与兄弟姐妹一起成长于一间住满了各种动物的大宅子,那里有"占了很大地方"的猫鼬,车库的一个坑里甚至养着毒蛇。一次小Hinton拿了一块手帕去逗那些蛇,但其中一条冲上来差点就咬到了他的手,Hinton险些因此丧命。

8岁的Hinton抱着一条蟒蛇(python)

除此之外,Hinton还照料着几只中华鳖,这些中华鳖是Hinton的父亲1961年于中国的旅行途中所购回。尽管那时的中国几乎对外国游客封闭,皮埃尔·特鲁多(后来的加拿大总理、现任加拿大总理贾斯廷·特鲁多的父亲)还是设法去了一趟,当时他和老Hinton住在同一间酒店,甚至共用一间浴室。据家庭传说,当时老Hinton就把这些中华鳖养在浴缸里,以打消特鲁多想要洗澡的念头。

Hinton回忆了自己的好奇心被激发起的时刻。当时他只有四岁,和母亲一同出游。他们坐在一趟通行于乡间的大巴上。大巴上有一个向后倾斜的座位,正对着行李架,Hinton从口袋里掏出一枚硬币放在上面,但它却没有向后,而是滑向了前面,看上去就像是对抗着重力往上爬。

这枚不可思议的硬币让Hinton魂牵梦萦了十年。在青少年时期,他终于弄明白,那枚硬币的运动和当时大巴上天鹅绒的座套以及大巴行进过程中振动方向有关。一个令人满意的结论。

"有些人可以对自己所不理解的现象熟视无睹。但对于这些违背了我所知世界的"模型"的东西,我一点都忍不了。"Hinton说。

Hinton的母亲十分和善,但他的父亲却令他敬畏,不论是体力上(他可以单手完成引体向上),还是智力上。"他喜欢那些思维清晰的人。如果你说了哪怕一点废话,他就会称其为垃圾。他不是那种多愁善感的思想者,他也不会虐待人,但他确实极其强硬。"

Hinton上的是一所名为克利弗顿学院的私校。"并非顶尖的。"他说。当时Hinton和他的朋友Inman Harvey——现在是萨塞克斯大学的一名计算机科学家和AI研究员,那时常常在邻近的村子搭车嬉闹。Hinton现在还记得一家人在餐桌上讨论社会主义,以及在大选时为劳工党投票的情形。

"Geoff的父亲对我非常好。但他是个严格的父亲,争强好胜。"Harvey说,"Geoff部分继承了父亲的这个特点。他的父亲是皇家学会成员,而Geoff后来也成为了皇家学会成员。他可能感受到了达到父亲期盼的需要。"

Hinton的青年时期与自由放任的六七十年代相冲突,但他为了不负家族期望而选择的道路却依然充满曲折。

1966年,大学前的一个暑假,Hinton和Harvey进行了一次穿越美国和墨西哥的背包行。两个年轻人是如此困窘,以至于会为了省下住旅店的钱去乘坐夜班大巴;在南墨西哥的一个小渔村,他们在游泳时把一个背包落在海滩上,包里的钱和护照被人偷走。每个下午,这对兄弟都会走相同的7公里到最近的村庄,去看看他们更换的旅行支票是否已经到了银行。他们一度用三美元捱过了一整周,还试过把香蕉皮装进罐子用高温加热来做香蕉汁——一个失败的实验。

70年代,在完成了实验心理学的学位后,Hinton做着一些零星的工作和木工活。1972年他开始攻读人工智能方向的PhD,但却对自己的研究感到沮丧和矛盾。一个周末,Hinton参加了一个研讨班,是某种自我实现的心理辅导课程。他对此烦得不行。

当时那个研讨班一共八个人,共同敞开心扉,挖掘自己的渴望和需求。在最后一天,每个人都要宣布他们在生命中最、最想要的东西。别人都在说,他们想要被爱。

"都是些原始的、不受压抑的东西。"Hinton回忆道。当时他都快石化了,不知道该说什么好。别人在小组里徘徊,大声喊出自己的秘密愿望时,Hinton的宣言令自己都大吃一惊。

"我真正想要的是一个PhD!"他怒吼。而这次宣言也再次点燃了他对神经网络研究的激情。

31岁的Hinton

当被问起对于生长在一个显赫之家的阴影中作何感想时,Hinton说:"压力。感觉就像是压力。"Hinton说,自己一辈子都在压抑、沮丧中挣扎,而工作就是他释放压力的方式。当人们从深度学习中淘出金子,这种压力减轻了一些。

"很长一段时间里,我都感觉我没有……"Hinton说,"好吧,我最终做到了。那真是种巨大的解脱。"

4

除了面对学术上的不认可,Hinton还在1990年代初,遭遇了更多打击。在收养了他们的婴儿后不久,他的第一任妻子Ros死于卵巢癌。Hinton成了单身父亲。习惯于住在实验室的Hinton,被拽回抚养两个小孩的现实世界。

尽管还有个保姆,但Hinton仍然不得不在下午6点赶回家,安排和照顾自己的儿子,然后冲向Gap抢购正在大甩卖的袜子。

"我无法想象一个带着孩子的女人如何继续学术生涯,我习惯把时间花在思考问题上。教育很有意思,但是有点分散注意力,而其余的生活——我没时间过,"Hinton说。工作成了躲避现实的避风港,Hinton说他觉得自己用数学作为自己感性一面的防御。

为人父母带来了改变。以前Hinton在超市遇到数学不好的收银员,他总抱怨超市为什么不雇一个数学好的员工。现在他会想"超市真不错,还能雇这个人"。Hinton补充说:"我不想成为一个更好的人,但就这么发生了,这不是我的人生目标"。

Hinton和第二任妻子结婚,还有两个孩子:8岁的托马斯和6岁的艾玛

1997年Hinton再次结婚,娶了英国艺术史学家Jackie。三年前,她被查出患有胰腺癌,现在Hinton正处于失去第二任妻子的边缘。

Hinton一生在医院中度过了很多时间。他提出的疑问经常惹恼工作人员。他深切地体会过病患等待许久却得到一个模糊诊断时的挫败感。但与大多数人不同,他知道很快会有技术能把需要等待一周的检验结果,缩短到一天。

作为一个克制的英国人,Hinton对深度学习能带来的医疗革命充满热情。"我看过太多的医生低效的使用数据,病患的历时信息被大量忽略;我看到医生们无法很好地阅读CT扫描,两个医生对同一个扫描片能得出不同的解读"。

在三次不同的场合,医生基于CT扫描说他妻子有继发性肿瘤,但每次都是误诊。Hinton相信AI会最终让放射科医生失业,或者至少取代看片子的工作。识别是AI的核心,也是成功诊疗的核心。Hinton说:"最终,AI工程师会弄清楚如何训练你的免疫系统去消灭癌细胞"。

矢量研究所的首个项目,就是用神经网络连接多伦多各个医院的大量数据。

人工智能技术可以通过访问庞大的数据集(本质上就是病患病例)来实现突破,包括远程监视病患的心跳,帮助医生确定理想的出院时机等等。Hinton的一位学生还在研发可以读取DNA的AI,这将有助于及早发现疾病并确定最佳治疗方案。

经过几十年的缓慢前进,深度学习正在快速发展,而Hinton陷入了类似《罗伦佐的油》一样的困境中。他急于推动科学进步,试图挽救亲人的生命。但胰腺癌非常残酷,而且在早期很难诊断。"对她来说,恐怕太迟了。"Hinton说。

Yoshua Bengio是驻扎在蒙特利尔大学的深度学习先驱,他和Hinton以及Facebook的Yann LeCun一道,被科技界称为"加拿大AI黑手党"。几十年来,每当Bengio到多伦多工作时,他就住在Hinton位于Annex的家里,和他一起走很远的路。Hinton到哪里都是走着去,他只有保持竖直的状态背才不疼。

Bengio看着Hinton一跃而成科技领袖,同时也有以一些警惕。"他不是上帝。他也犯错。他只不过是一个普通人,做着普通人的事情,"Bengio说"他有时可以穿过黑暗看清事物。但他的个人生活非常不容易。他也有他的黑暗时代"。

去年九月,Hinton和他的妻子在加拿大蜜月圣地Muskoka的小屋里住了好几天,那是一年中最漂亮的时候。"她非常勇敢也非常通情达理,她只觉得自己得到了额外的时间,她要好好得过。"

然后Hinton问我能否帮一个忙。他说:"能不能在这个故事里讲一下,过去两年半的时间里我一直能继续我的工作,因为我的妻子对她的癌症抱有非常积极的态度,"他平静地说。

"非常感谢你"。

5

Vector Institute有一种新车的味道、一个像恶霸巢穴的名字,弥漫着开学头一天的氛围。

这家机构去年秋天开放,从加拿大地方和中央拿到了1亿多美元的资金,还从30多家企业合作伙伴获得了8000万美元,这些合作伙伴包括加拿大的大型银行、加拿大航空、泰勒斯电信、Google等等。Vector是一个公私结合体,混合了学术界、政府公共部门和企业界的力量。

截至目前,Vector已经录用了20位科学家,他们正在为世界上一些宏大的问题探求技术解答:如何用AI来诊断儿童癌症,检测语言障碍?怎样建造机器,赋予人类像动物一样的视力,或者谱写优美的乐曲?或者怎样用量子计算来加速分析里人类活动产生的大量数据?Vector有一名关键员工Raquel Urtasun,会将她的部分时间分配给Uber,在那儿开发自动驾驶汽车。

如今的AI狂热不仅仅是为了金钱,也是因为AI融入日常生活的快速步伐。我们所用的手机从翻盖打电话发展到带有人脸识别功能的iPhone X,用了不到10年。

很多著名科学家担心这项技术发展太快,已经超出了我们的控制能力。霍金、伊隆·马斯克和比尔·盖茨都针对人工智能失控的危险发出过警告。"我担心AI可能会完全取代人类。"霍金最近说。

Hinton明白这种道德影响,他在联合国签署了一项请愿书,要求禁止致命的自主武器——通俗一点来说就是杀人机器人,还因为担心AI在安全领域的滥用,拒绝了与加拿大通信安全局相关的一个理事会职位。他认为,政府需要介入并制定法规,防止军队利用这项他耗费一生心血来完善的技术,他说,特别是要从防止军队开发杀人机器人开始。

然而,大多数时候Hinton对这种"AI焦虑"持乐观态度。

"我认为它能让生活变得更容易。人们所说的这些潜在影响,和这种技术本身无关,而是与社会的组织形式有关。作为一名社会主义者,我认为当技术进步提高了生产力时,每个人都应该分享到这些收益。"

去年夏天,我和Hinton在城里的Google食堂共进午餐。那个地方就像大部分科技公司一样,有一种托儿所般的审美,颜色鲜艳,摆着像阿米巴虫似的沙发以及一排健康午餐,大群30岁不到的人在那儿吃着饭。露台上,可以看见迷你高尔夫场地,还有一个授粉蜂窝,咖啡机发出响亮的声音。

很难想象,这就是机器入侵可能开始的地方,然而……

Hinton站着吃藜麦和鸡肉:"计算机接管世界这种天启场景,很长一段时间里都不会发生。我们离类似的事情还有很长、很长的路要走,哲学家思考这种事是好的,但我对这个问题不是特别感兴趣,这不是我有生之年必须面对的事。"他面无表情,很难看出是不是在开玩笑。

但这种对机器的依赖怎样改变我们?我对他说,每当我的手机给出一条消息回复建议("听起来不错!" "在那儿见!")我都有一种无力感,感觉自己变得机械化了。从《2001太空漫游》开始,流行文化一直在滋长、里汇集这样的恐惧。在娱乐圈,机器的进步被解读成个人的孤独、失败,就好像机器变得更加人性化的同时,我们变得不那么人性化了。

Hinton听我说着,看着我,表情说不上不友善,但带着一丝怀疑。"你用袖珍计算器的时候,会觉得不像人类吗?"他问。在他四周,Google的80后90后们吃着沙拉喝着咖啡,门禁卡在屁股后边晃来晃去。他们要么在看手机,要么拿着手机。

Hinton说:"我们是机器,我们只是通过生物方式制造的。大多数做AI的人对这一点毫不怀疑。我们只是特别精密的机器。我刚才不该说'只是'。我们是特别的、绝妙的机器。"

欢迎大家关注我们的专栏:量子位 - 知乎专栏

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复"招聘"两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态



via 量子位 - 知乎专栏 http://ift.tt/2EGXKI9
RSS Feed

RSS5

IFTTT

微服务架构技术栈选型; Prometheus源码分析;Woebot最新调查 - InfoQ每周精要522期

 中文站「每周精要」
感谢您订阅每周精要第 522 期,本期内容截止于2018-02-04。
技术新闻  TECH NEWS
Java MVC 1.0规范开始进入公开评审阶段
JSR-371规范1.0开始进入公开评审阶段。这是在2017年4月份Oracle将其所有权移交给Ivar Grimstad之后发布的第一个主要版本。
专访ECharts团队:无KPI驱动如何做出成功开源项目
近日,国内知名的数据可视化开源项目ECharts发布了4.0版,InfoQ记者采访了ECharts团队,了解团队的一些近况,以及在开源方面的一些经验。
Google发布Puppeteer 1.0
Puppeteer1.0已经发布,其中进行了多项改进,包括对JavaScript堆栈以及页面性能的分析以及针对JavaScript、CSS的代码覆盖率信息。
AWS Lambda现已支持.NET Core 2.0
Amazon宣称.NET Core 2.0现在已经支持AWS Lambda以及无服务器应用程序了。
Bloomberg发布了专用于Kubernetes的开源混沌测试工具PowerfulSeal
近期在美国Austin市举行的KubeCon北美大会上,Bloomberg展示了它们最新开源的"PowerfulSeal"工具。
Microsoft发布Azure Data Factory v2可视化工具的公开预览版
继去年九月发布了Microsoft Azure Data Factory(ADF)第二版(v2)的公共预览版之后,近期Microsoft继续跟进,发布了该服务新的可视化工具的公开预览版。
架构设计  ARCHITECTURE DESIGN
微服务架构技术栈选型手册(万字长文)
基于近年在微服务基础架构方面的实战经验和平时的学习积累,我想总结并提出一些构建微服务2.0技术栈的选型思路,供各位在一线实战的架构师、工程师参考借鉴。
一个针对所有RPC框架的性能测试,Dubbo排名居然垫底?
几乎所有的RPC框架都宣称自己是"高性能"的,那么实际结果到底如何呢, 让我们来做一个性能测试吧。
最近大火的直播答题系统在技术上难实现吗?挑战有多大?
直播答题成为新的风口,这篇文章将会分析直播答题和传统直播在技术上的不同,然后深度解释一下直播答题解决方案的海量并发派题和收题设计思路。
运维 & DevOps  OPERATIONS & DEVOPS
深入浅出MongoDB复制
笔者最近在生产环境中遇到许多复制相关问题,查阅网上资料发现官方文档虽然系统但是不够有深度,网上部分深度文章则直接以源码展示,不利于大家了解。所以本文结合前两者,最终给读者以简单的方式展现MongoDB复制的整个架构。
使用ServiceComb Go-chassis构建微服务
作为ServiceComb生态中的重要一环,Go-chassis将和已经开源的Apache ServiceComb Java-chassis一道,为用户带来良好的框架级多语言微服务编程体验。
Prometheus原理和源码分析
Prometheus是一个基于Metrics的监控系统,提供了通用的数据模型和便捷的数据采集、存储和查询接口,同时基于Go实现也大大降低了服务端的运维成本。
云计算  CLOUD COMPUTING
介于公有云与私有云之间,专有云缘何兴起?
专有云作为一种新型的云上解决方案,与传统的私有云有何不同?优势为何?专有云又能解决企业现阶段上云的哪些问题?传统IT企业迁移专有云又需要注意些什么?
从2017走向2018的Kubernetes+云原生:干货都在这里了
容器实现了应用的分装,方便了应用在不同环境间的迁移,轻量级的特性又使它能够消耗更少的资源而带来更大的便利。
一图看懂全球云计算生态——"云计算周期表"
本周期表中包括提供数据存储、管理以及处理能力的远程(非本地)服务器解决方案技术供应商。具体技术则涵盖从存储到网络硬件在内的各类基础设施产品,乃至监控与安全解决方案等软件产品。
大前端  THE FRONT END
iOS 12将推迟部分功能更新,专注性能优化
2018年苹果将改变往年的iOS规划,推迟一些新功能的发布,专注于iOS的用户体验问题,iOS 12将会推迟部分的功能更新,但在质量和性能问题上,iOS 12将会比iOS 11改善很多。
2017年,Mozilla为Web做了哪些事情?
M人希!
前端每周清单:Webpack 4 Beta尝鲜、Web Worker实战
前端每周清单专注前端领域内容,以对外文资料的搜集为主,帮助开发者了解一周前端热点;分为新闻热点、开发教程、工程实践、深度阅读、开源项目、巅峰人生等栏目。
人工智能  ARTIFICIAL INTELLIGENCE
宅男福音deepfakes开源了
看了deepfakes我真的决定去学习AI了。
吴恩达首款产品Woebot现已推出,到底用了多难的AI技术?
看看Erin Brodwin对Woebot的最新调查。
前Airbnb工程师:如何零基础猥琐发育成区块链开发者?
加密货币、ICO、互联网催生的金钱产物——所有些东西真的太让人兴奋了。
极客时间App  GEEK TIME APP
落地微服务架构必备的最佳实践经验
企业在落地微服务架构中,通常会面临相同的疑问和技术难点,来听听架构老司机的经验分享,帮你提高效率,少走弯路。
这是一份专业的AI技术内参
人工智能的时代已经到来。"AI技术内参"专栏将为你系统剖析人工智能核心技术,精讲人工智能国际顶级学术会议核心论文,解读技术发展前沿与最新研究成果,分享数据科学家以及数据科学团队的养成秘笈。帮你在人工智能领域找到最佳学习路径。
技术大会  CONFERENCE
QCon北京2018:深度学习在天天快报/应用宝广告投放中的三大应用
如何利用机器学习方法抽取更复杂的兴趣特征?如何利用深度学习对广告进行更好的理解?如何批量生成高质量的广告创意?如何利用在线学习提高模型的快速反馈能力?QCon北京2018,腾讯MIG开放平台部商业化模型负责人将带来分享。
ArchSummit深圳2018:Google和eBay的软件质量工程师危机与工程效能实践
目前Google、eBay等跨国企业研发团队都在经历"去除QE"并寻求工程效能的转型,在此过程中,如何运用原本QE团队积累的技术优势来设计和构建高效的测试基础架构,CI/CD、DevOps以及其他支持工具链生态体系如何应对工程效率提升?
InfoQ中文站每周日针对会员发送每周内容精要邮件,
别人转发给你的邮件?现在注册获取您自己的 InfoQ每周精要邮件吧
InfoQ微博:@InfoQ
InfoQ微信:infoqchina
InfoQ手机客户端

雅马哈AI系统能自动为舞蹈配乐,跟节奏跳舞时代已不再

Root 编译自 雅马哈官网量子位 出品 | 公众号 QbitAI

雅马哈公司在前天很开森地宣布,自家AI可以把世界顶级舞蹈家森山开次(Kaiji Moriyama)的舞蹈动作实时转换成钢琴曲。

去年11月22号,森山开次在东京举办了一场演出,名叫Mai Hi Ten Yu。

这次演出使用了雅马哈的AI系统。舞蹈家森山开次的背部、手腕和脚上一共装了四种传感器。当他跳舞时,舞蹈动作可以被实时地转换成乐曲数据。

为了确保舞蹈动作转换输出的音乐不是随机杂乱的,雅马哈的AI系统对照MIDI音乐数据库,控制钢琴的演奏,把这些数据输出成好听的乐曲。

技术视角解读

这套舞姿实时转换乐曲的AI系统,现在还处于研发阶段。

通过舞蹈家身上穿戴的传感器,可以实时捕捉到舞蹈家的动作姿态。结合AI系统已有的姿态对应旋律的数据库,可以把动作即时输出旋律数据。然后再把旋律数据传送给雅马哈的Disklavier钢琴,演奏出动耳的音乐。

雅马哈的Disklavier系统,是舞姿实时转换乐曲至关重要的一环。Disklavier的钢琴还可以表现出不同力度弹奏琴键的细微差别。

而且其音色是从9英尺高的钢琴中最完美的雅马哈CFX采的,也只有CFX富和完整、醇厚丰润的音色才能配得上舞蹈大家森山开次倾情忘我的演绎。

森山开次这回演出可以说非常震惊:舞蹈上带来视觉震撼的同时,还有AI实时合成的钢琴曲,搭配上世界顶级管弦乐团柏林爱乐乐团Scharoun Ensemble带来的听觉享受。

把身段优美的姿态化成音符,是一次新型艺术表现形式的大胆尝试。

作为日本乐器生产巨头,雅马哈不满足于卖卖乐器。这次汇聚世界顶级舞蹈家及乐团,还融合当下最高尖的科技AI,雅马哈也是希望能给世界打开新的想象空间,拓展人表达情感精神世界的更多的可能性。

顶尖艺术家参与的感受

舞蹈家,森山开次

当听到AI把我的舞姿转成乐曲时,我感受到身体深处内部的力量被唤醒了,对自我意识和身体动作感知有了新的理解。

柏林爱乐乐团乐器演奏家,Peter Riegelbauer

太震撼了!能和如此优秀的舞蹈家合作演出我们感到非常荣幸,也感谢雅马哈提供这次机会。

东京艺术大学副主席及作曲家,Isao Matsushita

艺术得随着时代一起演化。这一次能聚集这么多世界顶级优秀的舞蹈家、乐器演奏家、工程师一起做这场演出,是件非常有意义的事。作为一个作曲家,我觉得给这次演出编曲是个很大的挑战。在尝试全新的乐曲风格时,我受到了很多启发,产生一些以往从来没有的灵感。

雅马哈研发中心总经理,Motoichi Tamura

在雅马哈内部,大家深信AI能拉近人与乐器之间的距离。我们不断推进AI技术,想把精神世界丰富的情绪得到最大的释放。

最后,附编译来源,

https://www.yamaha.com/en/news_release/2018/18013101/

欢迎大家关注我们的专栏:量子位 - 知乎专栏

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复"招聘"两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态



via 量子位 - 知乎专栏 http://ift.tt/2DXTnqS
RSS Feed

RSS5

IFTTT

雅马哈AI系统能自动为舞蹈配乐,跟节奏跳舞时代已不再

Root 编译自 雅马哈官网量子位 出品 | 公众号 QbitAI

雅马哈公司在前天很开森地宣布,自家AI可以把世界顶级舞蹈家森山开次(Kaiji Moriyama)的舞蹈动作实时转换成钢琴曲。

去年11月22号,森山开次在东京举办了一场演出,名叫Mai Hi Ten Yu。

这次演出使用了雅马哈的AI系统。舞蹈家森山开次的背部、手腕和脚上一共装了四种传感器。当他跳舞时,舞蹈动作可以被实时地转换成乐曲数据。

为了确保舞蹈动作转换输出的音乐不是随机杂乱的,雅马哈的AI系统对照MIDI音乐数据库,控制钢琴的演奏,把这些数据输出成好听的乐曲。

技术视角解读

这套舞姿实时转换乐曲的AI系统,现在还处于研发阶段。

通过舞蹈家身上穿戴的传感器,可以实时捕捉到舞蹈家的动作姿态。结合AI系统已有的姿态对应旋律的数据库,可以把动作即时输出旋律数据。然后再把旋律数据传送给雅马哈的Disklavier钢琴,演奏出动耳的音乐。

雅马哈的Disklavier系统,是舞姿实时转换乐曲至关重要的一环。Disklavier的钢琴还可以表现出不同力度弹奏琴键的细微差别。

而且其音色是从9英尺高的钢琴中最完美的雅马哈CFX采的,也只有CFX富和完整、醇厚丰润的音色才能配得上舞蹈大家森山开次倾情忘我的演绎。

森山开次这回演出可以说非常震惊:舞蹈上带来视觉震撼的同时,还有AI实时合成的钢琴曲,搭配上世界顶级管弦乐团柏林爱乐乐团Scharoun Ensemble带来的听觉享受。

把身段优美的姿态化成音符,是一次新型艺术表现形式的大胆尝试。

作为日本乐器生产巨头,雅马哈不满足于卖卖乐器。这次汇聚世界顶级舞蹈家及乐团,还融合当下最高尖的科技AI,雅马哈也是希望能给世界打开新的想象空间,拓展人表达情感精神世界的更多的可能性。

顶尖艺术家参与的感受

舞蹈家,森山开次

当听到AI把我的舞姿转成乐曲时,我感受到身体深处内部的力量被唤醒了,对自我意识和身体动作感知有了新的理解。

柏林爱乐乐团乐器演奏家,Peter Riegelbauer

太震撼了!能和如此优秀的舞蹈家合作演出我们感到非常荣幸,也感谢雅马哈提供这次机会。

东京艺术大学副主席及作曲家,Isao Matsushita

艺术得随着时代一起演化。这一次能聚集这么多世界顶级优秀的舞蹈家、乐器演奏家、工程师一起做这场演出,是件非常有意义的事。作为一个作曲家,我觉得给这次演出编曲是个很大的挑战。在尝试全新的乐曲风格时,我受到了很多启发,产生一些以往从来没有的灵感。

雅马哈研发中心总经理,Motoichi Tamura

在雅马哈内部,大家深信AI能拉近人与乐器之间的距离。我们不断推进AI技术,想把精神世界丰富的情绪得到最大的释放。

最后,附编译来源,

https://www.yamaha.com/en/news_release/2018/18013101/

欢迎大家关注我们的专栏:量子位 - 知乎专栏

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复"招聘"两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态



via 量子位 - 知乎专栏 http://ift.tt/2DXTnqS
RSS Feed

RSS5

IFTTT

2018年2月2日星期五

搞事!ICLR 2018七篇对抗样本防御论文被新研究攻破,Goodfellow论战


ICLR 2018 大会的接收论文中,8 篇有关防御对抗样本的研究中,7 篇已经被攻破了——在大会开幕三个月之前。来自 MIT 和 UC Berkeley 的研究者定义了一种被称为「混淆梯度」(obfuscated gradients)的现象。在面对强大的基于优化的攻击之下,它可以实现对对抗样本的鲁棒性防御。这项研究引起了深度学习社区的讨论,GAN 提出者 Ian Goodfellow 也参与其中,并作了反驳。


GitHub 链接:https://github.com/anishathalye/obfuscated-gradients



上图展示了一个「对抗样本」:仅仅加入了一些轻微的扰动,这张猫的图片就可以愚弄 InceptionV3 分类器,使其将图片分类为「鳄梨酱」。这类「欺骗性图像」可以轻松地利用梯度下降法生成(Szegedy et al. 2013)。


为了解决神经网络对抗样本的问题(Szegedy et al., 2013),近期人们对于构建防御对抗样本,增加神经网络鲁棒性的研究越来越多。尽管人们对于对抗样本的认识已经提升,相关的防御方法也有提出,但迄今为止并没有一种完整的解决方法出现。对于 MIT 和 UC Berkeley 的研究人员来说,目前正被审核的所有对抗样本防御论文中提到的方法(Papernot et al., 2016;Hendrik Metzen et al., 2017;Hendrycks & Gimpel, 2017;Meng & Chen, 2017;Zantedeschi et al., 2017)都可以被更加强大的优化攻击(Carlini & Wagner, 2017)击败。


基于迭代优化的对抗攻击测试基准如 BIM(Kurakin et al., 2016a)、PGD(Madry et al., 2018)和 Carlini 与 Wagner 的方法(Carlini & Wagner, 2017)近期已经成为评估防御能力的标准,最新的防御方式似乎能够抵御基于优化的最强攻击。


论文作者宣称他们找到了很多防御机制鲁棒地抵抗迭代攻击的一个普遍原因:混淆梯度。缺乏好的梯度信号,基于优化的方法就不能成功了。在论文中,作者确定了三种类型的混淆梯度。某些防御方式会导致破碎的梯度,有意地通过不可微分运算或无意地通过数字不稳定性,可以得到不存在或不正确的梯度信号。一些防御是随机性的,导致依赖于测试时间熵的随机梯度(攻击者无法接触)。另一些防御会导致梯度消失/爆炸(Bengio et al., 1994),导致无法使用的梯度信号。


研究人员提出了克服这三种现象造成的混淆梯度的新技术。在研究中,一种被称为后向传递可微近似(Backward Pass Differentiable Approximation)的方法解决了不可微分运算导致的梯度破碎。我们可以使用 Expectation Over Transformation 计算随机防御的梯度(Athalye et al., 2017),通过再参数化和空间优化来解决梯度消失/爆炸问题。


为了调查混淆梯度的普遍程度,并了解该攻击技术的适用性,研究人员使用 ICLR 2018 接收论文中的防御对抗样本论文作为研究对象,研究发现混淆梯度的使用是一种普遍现象,在 8 篇论文里,有 7 篇研究依赖于该现象。研究者应用新开发的攻击技术,解决了混淆梯度问题,成功攻破其中的 7 个。研究人员还对新方法对这些论文的评估过程进行了分析。


此外,研究者希望这篇论文可以为对抗样本方向提供新的知识基础、攻击技术解释,避免未来的研究落入陷阱,帮助避免未来的防御机制轻易被此类攻击攻破。


为了保证可复现,研究人员重新实现了 8 篇防御研究的方法,以及对应的攻击方法。下表展示了这 8 篇防御研究方法在攻击下的稳健程度:


七篇论文中,我们能够看到唯一一个显著提高对抗样本防御鲁棒性的研究是论文《Towards Deep Learning Models Resistant to Adversarial Attacks》(Madry et al. 2018),如果不使用威胁模型以外的方法就无法攻破它。即便如此,这种方法也已被证明难以扩展到 ImageNet 的规模(Kurakin et al. 2016)。其他论文全部或多或少地依赖于「混淆梯度」。标准攻击应用梯度下降使网络损失最大化,为给定图片在神经网络中生成对抗样本。这种优化方法需要有可用的梯度信号才能成功。基于混淆梯度的防御会破坏这种梯度信号,使得优化方法失效。


研究人员定义了三种基于混淆梯度的防御方式,并构建了绕过它们的攻击方法。新的攻击方式适用于任何有意或无意的,不可微分运算或其他阻止梯度信号流经神经网络的防御法。研究人员希望未来研究能够基于这种新提出的方法进行更加有效的安全评估。


图 1. 不同失真水平的等级。第一行:正常图像。第二行:对抗样本,失真=0.015。第三行:对抗样本,失真=0.031


讨论


在对 ICLR 2018 的几篇论文攻击成功之后,是时候来对评估防御对抗样本方法的新规则了。MIT 和 UC Berkeley 的研究人员给出的建议仍然大体遵循前人的研究(Carlini & Wagner, 2017a;Madry et al., 2018)。


6.1 定义(逼真的)威胁模型


构建防御时,定义限制对抗样本的威胁模型非常关键。之前的研究使用单词 white-box、grey-box、black-box 和 no-box 来描述威胁模型。


本论文作者没有再次尝试重新定义词汇,而是概括防御的多个方面,它们对于对抗样本可能是已知的,但对于防御样本是未知的:


  • 模型架构和权重;

  • 训练算法和数据;

  • 带有随机性的防御对抗样本,不管对抗样本是否知道所选随机值的确切序列或者仅仅是分布;

  • 假设对抗样本不知道模型架构和权重,查询访问被允许。那么模型输出为 logits、概率向量或预测标签(即 arg max)。


尽管对抗样本的很多方面可能是未知的,但威胁模型不应该包含非逼真的约束。研究者认为任何有效的威胁模型都是对模型架构、训练算法所知甚少的,并且允许查询访问。


研究者认为限制对抗样本的计算能力并无意义。如果两个防御对抗样本具备同样的鲁棒性,但其中一个生成对抗样本需要一秒,另一个需要十秒,则鲁棒性并未提高。只有当对抗样本的计算速度比预测运行时有指数级提升时,将运行时作为安全参数才是可行的。但是,把攻击时间增加几秒并无太大意义。


6.2 研究结果应具体且可测试


定义完清晰的威胁模型之后,防御应该具体而可测试。例如,这些防御方法可以声称在失真度=0.031 时,对抗样本的鲁棒性为 90% 至最大,或声称平均两种对抗样本的失真度增加了基线模型的安全程度(在这种情况下,基线模型需要有明确的定义)。


不幸的是,研究者评估的大多数防御方法仅声明鲁棒性而未给出特定界限。这个建议最大的缺陷就是防御不应声称对无界攻击具备彻底的鲁棒性:不限制失真度,则任何图像可以随意转换,且「成功率」为 100%。


为了使防御声明可测试,防御必须是完全具体的,并给出所有超参数。发行源代码、预训练模型以及论文也许是使声明具体的最有效方法。8 篇论文中有 4 篇具有完整的源代码(Madry et al., 2018; Ma et al., 2018; Guo et al., 2018; Xie et al., 2018)。


6.3 评估自适应攻击(adaptive attack)


加强对现有攻击的鲁棒性(同时又是具体而可测试的)用处不大。真正重要的是通过具有防御意识的攻击积极评估自身的防御以证明安全性。


具体而言,一旦彻底认定一个防御,并且对手受限于威胁模式之下,攻克这一防御的尝试就变的很重要。如果它能被攻克,那么就不要设法阻止特定的攻击(即通过调整超参数)。一次评估之后,可接受对防御的调整,但调整之后要接受新的攻击。这样,通过最终的自适应攻击得出评估结果就类似于在测试数据上评估模型。


论文:Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples



论文链接:https://arxiv.org/abs/1802.00420 


摘要:我们发现了一种「混淆梯度」(obfuscated gradient)现象,它给对抗样本的防御带来虚假的安全感。尽管基于混淆梯度的防御看起来击败了基于优化的攻击,但是我们发现依赖于此的防御并非万无一失。对于我们发现的三种混淆梯度,我们会描述展示这一效果的防御指标,并开发攻击技术来克服它。在案例研究中,我们试验了 ICLR 2018 接收的 8 篇论文,发现混淆梯度是一种常见现象,其中有 7 篇论文依赖于混淆梯度,并被我们的这一新型攻击技术成功攻克。


「混淆梯度」引发争议


这篇论文甫一出现,立刻引起了研究社区的关注,GAN 提出者 Ian Goodfellow 也参与了讨论。Goodfellow 指出「混淆梯度」的概念实际上与此前人们提出的「梯度遮蔽(gradient masking)」概念相同。同时 ICLR 2018 中的一篇论文《Ensemble Adversarial Training: Attacks and Defenses》(Goodfellow 也是作者之一)实际上解决了这一问题。不过,这一观点并未被 MIT 与 UC Berkeley 的论文作者完全接受。


该研究也引发了谷歌大脑负责人 Jeff Dean 的关注与吐槽:「这看上去确实是鳄梨啊。


新研究的第一作者,MIT 博士生 Anish Athalye 致力于研究防御对抗样本的方法。也是此前「3D 打印对抗样本」研究的主要作者(参见:围观!MIT科学家调戏了谷歌图像识别网络,后者把乌龟认成来福枪)。多篇 ICLR 接收论文在大会开始三个月前就遭反驳,看来,人们在防御对抗样本的道路上还有很长一段路要走。

]]> 原文: http://ift.tt/2BOZf3D
RSS Feed

机器知心

IFTTT