神经收集是用类比方式 \"思虑 \"吗?- qualcomm_神经收集_模子
认知便是打比方。只管它很吸引人,但早些年类比法对人工智能的影响是有限的。而且它紧张因此打算机模型的形式涌现的,这些模型试图在玩具实例中模拟隐喻思维的某些方面,但没有产生强烈的影响。在环绕认知和人工智能的辩论中,它也被用作辅导原则,最著名的大概是,”suggesting embodiment “是推进人工智能的一个主要身分(通过许可儿工智能系统精确阐明与物理观点相联系的隐喻观点,如这个句子中的例子:"She is on top of the situation")。
打比方便是分享权重一个可能的阐明是,为什么隐喻(打比方)在人类思维中如此普遍,是由于它们许可我们分享神经回路:通过遐想,当你想到 "建筑 "时普遍生动的神经进入发射模式,隐喻许可我们在思考任何与隐喻干系的观点(如 "理论")时,分享并随时供应我们对”建筑“的所有认识。一种非常类似(可以说是 "相同")的分享在机器学习中很普遍。事实上,人们可以说,霍夫斯塔特对认知隐喻的极度解读("每秒一打类比")的一个变种,这个变种在过去几十年中险些一贯支配着深度学习的所有方面。深度学习的一个关键问题是模型是数据饥饿的。统计学知识规定,一个模型的参数越多,我们就须要更多的数据来演习它。险些所有类型的学习都是如此,从监督和自我监督到强化学习。办理这个问题的唯一办法是保持每个参数的演习实例数量较大。而神经网络研究职员已经找到了一个广泛利用的办理方案:权重共享。事实上,很难找到任何神经网络不以这样或那样的形式利用权重共享。
例如,卷积网络将一个单一的过滤器运用于图像中的多个不同位置,与完备连接的网络比较,参数减少了几个数量级。递归网络在不同韶光段共享一组连接。转移学习将一个网络的一部分运用于多个任务。权重共享是如此普遍,以至于有时它隐蔽在众目睽睽之下。事实上,任何多层神经网络都有这样的特性:高层的神经元与它们的差错分享下面所有层的激活模式和突触连接。因此,乃至深度学习本身也可以被认为是一种隐性利用权重共享的办法。就像认知隐喻在人类认知中普遍存在一样,权重共享在人工智能中也普遍存在。这可能不是有时的。事实上,我们可以将两者视为同一事物。并且做事于相同的大略目的:统计效率,这样才能激活学习。
机器学习:从前馈专家到递归通才共享的统计上风可以将人工智能的发展推向有时是反直觉的方向。权重共享--及其提高学习的统计效率的能力--将我们推向整体发展和建立日益普遍的模型。它还将我们从还原主义的 "分而治之 "的方法中推开,”还原主义“的这种方法不仅常见,乃至在工程文化中根深蒂固。它将寻衅从剖析、分解,然后为一项任务建立模型转移到探求产生数据的方法,使网络能够自己学习任何所需的组件及其整合的端到端。端到端学习的趋势在2010年旁边随着物体和语音识别以及随后利用的 "倒数第二层"--预演习模型的调谐而起飞。但这还远远没有结束,在未来几年里,它可能会将神经网络推向更高的抽象和能力水平。最明显的是,权重共享目前正在推动一个(可能是不可逆的)长期的递归网络的趋势--其前兆是盛行的大型自动回归措辞模型。缘故原由是:递归或自动回归网络可以接管比任何前馈分类或回归模型更广泛的观点和能力。看到这一点的一个方法是,考虑到自动回归模型被演习为逐步输出一个序列,而不是一个单一的种别标签。而且,该序列有许多实例--或 "可用于演习的标签"。将输出序列中的每个元素视为一个 "行动Action",就可以解释自动回归模型可以演习的任务的惊人广度。这就扩大了可能的监督旗子暗记的来源,包括文本、感官输入,乃至强化学习旗子暗记。从观点隐喻的角度来看,这意味着模型不仅可以学习利用静态观点或特色之间的联系,还可以学习利用动态的 "常规"、策略、承受力或最广泛意义上的 "技能"。我们可以把隐喻看作是利用 "高等不变性 "的一种办法:那些不变的、不改变的东西。卷积网络通过将一个过滤器运用于图像中的多个位置来利用低层次的空间不变性,而隐喻则通过将一个 "思维过程 "运用于多个不同的观点或情形来利用高层次的不变性。高水平抽象的认知能力在生理学中被称为 "系统2 "能力,与低水平感知(或 "系统1")形成比拟。诺贝尔奖得到者丹尼尔-卡尼曼(Daniel Kahneman)对这一差异进行了深入研究,他认为,只管系统-2扮演着刻意的、掌握性的角色,但在大多数时候,真正处于驾驶位置的是系统-1。同样,人们可以认为,虽然系统2的思维过程在表面上看起来是句法性的和机器性的,但正是对隐喻和类比的利用为它们注入了活力,增加了意义、洞察力,有时乃至是创造力。 在高通公司人工智能研究部的研究小组中,我们认为在研究神经网络能够得到的洞察力和 "思考 "隐喻的能力类型方面存在着巨大的机会。这相称于仔细选择能够引起潜在协同浸染和联系的数据、任务和模式--并缓慢但稳步地提高权重共享能够施加影响的抽象水平。例如,我们正在研究措辞的预演习如何为模型供应提高其决策能力的观点,或者基于文本的推理如何与模型结合并帮助其更好地理解***流。神经网络缺少人类观点所依赖的那种主体和根本。一个神经网络对 "痛楚"、"尴尬 "或 "快乐 "等观点的表述不会与我们人类对这些观点的表述有丝毫相似之处。神经网络对 "并且"、"七 "或 "上 "等观点的表述将更加同等,只管在许多方面仍有很大的不同。然而,人类认知的一个关键方面,神经网络彷佛节制得越来越好,那便是能够创造看似不干系的观点之间的深层和隐蔽的联系,并以创造性和原始的办法利用这些联系。随着我们演习网络的抽象程度的提高,它们的能力水平也会让我们感到惊异和吃惊。
神经网络是用类比方式 "思考 "吗? - qualcomm
本文系作者个人观点,不代表本站立场,转载请注明出处!