股民配资开户

我的账户
武清期货配资 网

自媒体资讯干货

亲爱的游客,欢迎!

已有账号,请

立即登录

如尚未注册?

加入我们
  • 客服电话
    点击配资开户 客服

    在线时间:8:00-16:00

    客服电话

    股民配资开户400-000-0000

    电子邮件

    xjubao@163.com
  • APP下载

    武清期货配资 网APP

    随时随地掌握行业动态

  • 官方微信

    扫描二维码

    关注武清期货配资 网公众号

武清期货配资 网 网站股票配资 资讯列表 资讯内容

普林、DeepMind新研究:联合深度学习和符号回归,从深度模子中瞥见宇宙

2020-06-29 发布于 武清期货配资 网

作者:Miles Cranmer等

呆板之心编译

参与:杜伟、小舟、魔王

简朴的符号表达式可以或许有用地建模世界。符号模子紧凑,具备可解释性和良好的泛化能力,但很难处置惩罚高维呆板学习问题;深度模子善于在高维空间中学习,但泛化性和可解释性却很差。那么有没有什么措施可以取二者之所长呢?这项研究做到了。

如何将深度模子转换为符号方程?

来自普林斯顿、DeepMind 等机构的研究职员提出了一种解决方案:联合深度学习和符号回归实现这一目标。

股民配资开户符号模子是自然科学的语言。与深度模子差别,符号模子是紧凑的、可解释的,同时具备良好的泛化能力。简朴的符号表达式却是建模世界唯一无二的强盛方式。1960 年,物理学家尤金 · 维格纳(Eugene Paul Wigner)在《数学在自然科学中不合理的有用性》中就表达了他对数学描述物理世界的卓越能力的惊讶。

股民配资开户在呆板学习领域,人们通过遗传算法学习符号模子。这种要领无法针对输入特性的数目举行很好地缩放。但深度神经网络可以高效学习高维空间中的模式。那么,问题来了,我们可以兼二者之所长吗?

股民配资开户来自普林斯顿大学和 DeepMind 等机构的研究者提出了一种通用要领,通过引入强归纳偏置来提取深度模子的符号表示。

该要领的事情原理是:起首在监视设置下训练 GNN,同时勉励稀疏潜在表示,然后对学得模子的组件应用符号回归,从而提取显式物理关系。

该研究发明,这一要领可以从神经网络中提取正确的已知公式,包括力学定律和哈密顿动力学。别的,研究者还将该要领应用于宇宙学示例,即暗物质模拟中,并发明了一个新的解析公式。该公式可以基于相近宇宙结构的质量漫衍预测暗物质的浓度。

股民配资开户别的,相比 GNN 自己,使用该要领从 GNN 提取的符号表达式可以或许更好地泛化至漫衍外(out-of-distribution)数据。该要领为解释神经网络,以及基于神经网络学得的表示发明新的物理学原理提供了新的偏向。

接下来,我们来看研究职员提出该要领的动机,以及详细要领和实验细节。

研究动机

我们都知道,科学自动化的条件是实现知识发明的自动化。但是,该历程中会出现许多问题,好比呆板学习模子何时成为知识?为什么麦克斯韦方程组被认为是科学事实,而深度学习模子却只是数据插值呢?举例来说,深度学习简直无法具备符号物理模子那么好的泛化性。然而,到底是什么使简朴的符号模子具备描述世界的强盛性能呢?

从纯粹的呆板学习角度来看,符号模子有其自身的上风,好比模子紧凑、具备显式可解释性,以及泛化性优秀。「符号回归」(Symbolic regression)正是用于此类符号模子的呆板学习算法,这种监视要领可以聚集多个解析函数来建模数据集。

但是,呆板学习领域通常使用遗传算法来学习符号模子,遗传算法本质上类似于 Schmidt & Lipson (2009) 提出的强力程序(brute force procedure),但它无法针对输入特性的数目举行很好地缩放。因此,许多呆板学习问题,尤其是高维呆板学习问题很难通过传统的符号回归举行表示。

股民配资开户使用遗传算法的符号回归示例。算子和变量组成的二叉树表示方程,突变和交织连续迭代并组成最佳模子。

股民配资开户另一方面,深度学习被证实在高维空间的学习中非常高效,但泛化性和可解释性却很差。那么,有没有什么要领可以将传统符号回归和深度学习的上风联合起来呢?该研究给出了答案。

符号回归 + 深度学习,如何实现?

这项研究接纳的计谋是:深度模子不仅可以预测目标,还可以或许将这些目标剖析为低维空间中运行的较小内部函数;然后,符号回归利用解析表达式来近似深度模子的每个内部函数;末了,将提取到的符号表达式组合在一起,得到一个等价的解析模子。

详细步骤如下所示:

股民配资开户设计一个深度学习模子,它具有可分散的内部结构和由问题引发的归纳偏置;

股民配资开户使用可用数据对模子举行端到端训练;

在训练历程中,勉励每个内部函数输入或输出中的潜在表示保持稀疏性;

用符号表达式拟合模子内部学得的差别函数;

股民配资开户以等价的符号表达式替换深度模子中的这些函数。

股民配资开户详细而言,在相互作用粒子案例中,研究者选择了图神经网络架构,由于其内部结构可以剖析为三个与粒子交互物理相对应的模函数(modular function)。其中 GNN 的「消息函数」相当于力,「节点更新函数」相当于牛顿运动定律。GNN 在多个基于物理学的应用中得到乐成。

股民配资开户下图展示了该研究实验中所使用的 GNN 内部结构:

股民配资开户需要注意的是:差别于牛顿力学,GNN 中的消息形成高维潜在向量,节点不消表示物理粒子,边和节点模子可学习任意函数,而且输出不必为更新后的状态(updated state)。

股民配资开户末了,通过勉励 GNN 中的消息来增强稀疏性,该研究降低了每个函数的维数,使得符号回归更易于提取表达式。

股民配资开户下图展示了联合 GNN 和符号回归提取分析表达式的历程:

实验效果

牛顿动力学

研究者在具备已知力学定律的简朴多体(N-body)体系数据上训练牛顿动力学图网络。然后通过消息函数 φ^e 学得的表示,运用该要领得到已知的力学定律。

股民配资开户如下图 4 所示,研究者接纳的数据集包罗差别交互作用定律下的二维和三维多体粒子模拟。模拟自己包罗 4 或 8 个粒子的质量和电荷,并以位置、速率和加速率作为时间函数的参数。

在当前体系状态下,研究者训练模子来预测每个粒子的瞬时加速率。为了探究消息表示的巨细在将消息解释为力中的紧张性,研究者使用 Standard、Bottleneck、L_1 和 KL 四种差别的计谋来训练图网络。

模子性能

为了评估学得的模子,研究者用差别的随机种子天生了一个新的数据集。研究发明,使用 L_1 正则化的模子在大多数情况下具备最佳性能,如下表 3 所示:

表 3:差别模子在每个数据集上的预测丧失。

解释消息组件

作为解释消息组件的初次实验,研究者接纳了具备最大方差(或 KL 散度)的 D 消息特性(D 是模拟的维数),并用每个特性拟合真正分力的线性组合。

研究者发明在尺度设置下训练的图网络并没有显示出和分力的强相干性。

而有用消息巨细被显式(瓶颈)或隐式(KL 或 L_1)限定为低维的全部其他模子所得到的消息与真实的力具备强相干关系(表 1 指出了与真实力的拟合偏差),其中使用 L_1 正则化训练的模子显示出最强的相干性。

用符号回归近似内部函数

股民配资开户该研究展示了如何使用符号回归从消息中提取力学定律,且无需使用配资公司 每种力的情势的先验知识。

详情请戳以下视频:

哈密顿动力学

基于牛顿动力学案例中的数据集,研究者使用哈密顿归纳偏置训练了 FlatHGN,并展示了它可以为全部问题提取标量势能,而不是力。

股民配资开户就性能结果而言,哈密顿模子在全部数据集上的体现都可以和 L_1 正则化模子媲美。

宇宙学中的暗物质晕

股民配资开户末了,研究者将该要领应用于现实问题:宇宙学中的暗物质晕。

在研究这个问题时,研究团队接纳的是来自 [40] 的开源多体暗物质模拟。研究者选择了该数据集中的第零模拟,在末了一个时间步(current day Universe)该模拟包罗 215,854 个暗物质晕。

股民配资开户下表 2 中「Best, with mass」行即为使用该研究要领提取的公式。研究者在没有质量信息的情况下做了相同的分析,并发明了一个有趣的类似公式。相邻两者之间的相对速率可用于表示质量,如表 2 所示:

股民配资开户在该问题中,符号表达式的泛化性能要比原本的图神经网络好许多。这又反应了尤金 · 维格纳(Eugene Wigner)的那句话:简朴的符号模子语言却可以或许深刻地描述宇宙。

股民配资开户论文地址:https://arxiv.org/pdf/2006.11287.pdf

博客地址:https://astroautomata.com/paper/symbolic-neural-nets/

股民配资开户GitHub 地址:https://github.com/MilesCranmer/symbolic_deep_learning

股民配资开户交互式 demo 地址:https://colab.research.google.com/github/MilesCranmer/symbolic_deep_learning/blob/master/GN_Demo_Colab.ipynb

WAIC 2020 黑客马拉松由世界人工智能大会组委会主理,张江集团、优必选科技、软银集团旗下软银呆板人、Watson Build 创新中心、呆板之心联合承办,受到新冠疫情的影响,角逐将于 7 月 8 日 - 11 日期间以远程和小范围线下联合的方式举办,招募全球顶级开发者同台竞技。

点击图片或「阅读原文」搭乘参赛


 
1

鲜花
1

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

股民配资开户

武清期货配资 网

股民配资开户扫一扫二维码关注我们Get最新资讯

相关分类
热点推荐
关注我们
武清期货配资 网与您同行

股民配资开户客服电话:400-000-0000

股民配资开户客服邮箱:xjubao@163.com

周一至周五 9:00-18:00

武清期货配资 网 版权所有

Powered by 武清期货配资 网 X1.0@ 2015-2020