ad1
ad2
ad3

Hinton近日做报告,讲解其研究多年至今未发表的工作

来源:辽宁在线    发布时间:2017-08-21 20:16   作者:笑笑

原标题:Hinton近日做报告,讲解其研究多年至今未发表的工作

雷锋网(公众号:雷锋网)AI科技评论消息:近日,在加拿大多伦多大学由Vector研究所发起的“2017 - 2018年机器学习进展与应用”研讨会上,神经网络之父Geoffrey Hinton做了一场报告《What is wrong with convolutional neural nets?》,在报告中Hinton讲解了他多年来一直在做的研究工作,他称之为“胶囊理论”(capsules theory)。

在报告中,他认为“标准神经网络”与真实的大脑神经网络相比有以下四个问题:

1、池化过程并没有很好地模仿大脑中形状知觉的心理过程——它不能解释为什么我们人类能将内在的坐标系映射到物体上,以及为什么这些坐标系这么重要;

2、池化解决的问题是错的——我们想要的是信息的同变性而不是不变性,是理清信息而不是丢弃信息;

3、池化没有利用底层线性结构——它没有利用在图形中能很好地处理方差最大来源的自然线形流形。

4、池化在处理动态路由时很差劲——我们需要将输入信息的每一部分路由到知道如何处理它的神经元中,找到最佳的路径就是在解析图像。

Hinton提出了他“胶囊”(capsules)的概念。简单地说,这些“胶囊”就是在神经网络中构建和抽象出的子网络。什么意思呢?一个标准的神经网络,层与层之间是全链接的(也就是说,层1中的每个神经元都可以访问层0中的每个神经元,并且其本身 也可以被层2中每个神经元所访问),但这些连接并不一定都是有用的。“胶囊理论”的方案是,神经网络由n个子网络(胶囊)构成,每个胶囊都专注于做一些单独的任务,胶囊本身可能需要多个层网络来实现。其输出包括物体所属类型的概率以及物体的状态信息(比如位置、方向、大小、形变、速率、颜色等)。低层次胶囊输出的参数会被转换成高层级胶囊对实体状态的预测,如果预测一致,则输出这一层次的参数。

一个典型的胶囊将从多个低层次的胶囊中获得信息(多维预测向量),然后寻找一个预测的紧致束(tight cluster of predication)。如果它能够找到这个紧致束,那么它就会输出实体在这个域内类型存在的较高的概率,以及生成状态的重心(状态平均值)。这种方式可以很好地过滤掉噪声,因为较高维度的巧合发生的概率很小,所以胶囊的方法要比“标准的神经网络”好很多。Hinton说,他这种“胶囊”的想法是受到脑科学中对“迷你列组织”(mini-column organization)研究的很大的启发。

此外,据雷锋网了解,关于“胶囊理论”的研究Hinton已在多个场合做过类似的报告,不过目前Hinton好想并没有打算把他的研究成果发表出去,因为他觉得现在的研究还没有让他满意——那么,当他对这项研究满意的时候,会不会再次成为“the Father of ……” ?

雷锋网注:资源链接——

1、What's wrong with convolutional nets? @MIT TechTV(2014年在“脑与认知科学”研讨会上的报告视频,内容类似)

2、Hinton未发表工作:Transforming Auto-encoders(PDF)

雷锋网原创文章,未经授权禁止转载。详情见转载须知。