天津河西区举办“新时代有我更闪耀”好网民短视频大赛颁奖仪式

中新网天津12月18日电 (张文龙)为弘扬时代主旋律、传播网上正能量,引导广大网民从自身做起、从点滴做起,以实际行动践行好网民标准,营造风清气正的网络环境,12月17日,由中共天津市河西区委网信办主办的“新时代有我更闪耀”好网民短视频大赛颁奖仪式在河西区网信大厦举行。

天津市河西区委网信办、新华网天津分公司相关负责人、短视频大赛参赛单位及市民、津城新媒体代表等100余人参加活动。

Bengio 的演讲将「意识」引入了主流的机器学习词汇体系中。Bengio 提出的「意识」概念的核心是注意力。他将机器注意力机制与我们的大脑选择分配注意力的方式进行了比较:「机器学习可以用来帮助脑科学家更好地理解意识,但我们对意识的理解也可以帮助机器学习发展出更好的能力」。

本届 NeurIPS 上也有几篇论文说明了,传统的神经网络可以具有比 NTK 更好的性能:

当你想要控制一个系统的输出时,凸优化特别有用。例如,SpaceX 公司使用凸优化来发射火箭,BlackRock 公司将它用于交易算法。看到凸优化在深度学习中的应用真的很酷,就像现在的贝叶斯学习一样。

他们认为一致收敛理论本身并不能解释深度学习的泛化能力。随着数据集的规模增大,泛化差异(Generalization Gap,模型在见过和未见过的数据上的性能差异)的理论界限也会增大,而经验泛化差异则会减小。

图也可以表征神经网络的输出。正如 Yoshua Bengio 在他的演讲中提醒人们的那样:任何联合分布都可以通过因子图来表示。

2020年,第44届世界遗产大会将在福州举办。专家认为,对福州市来说,这是进一步深化古厝保护和文化传承的契机。(完)

最近,研究人员对深度学习的局限性进行了大量的反思,以下为几个例子:

图 3:贝叶斯学习与深度学习对比

多年来,我经常谈到:图论是在机器学习领域最被低估的课题之一。我很高兴有关图的工作在本届 NeurIPS 上大放异彩。

让我们从更宏观的角度看看本届 NeurIPS 大会上的论文都与什么主题相关。首先,我使用 Vennclods 将 1,011 份 NeurIPS 2018 的论文和 1,428 份 NeurIPS 2019 的论文的标题进行了可视化。中间黑色的部分是在这两年都十分常见的论文关键词的列表。 

(除 NeurIPS 论文之外的)推荐阅读材料:

那么,增加深度能让它更有效率吗?他们说明了,在高斯混合模型的最优贝叶斯分类的情况下,这些函数可以用带有单个隐层的神经网络中的 o (exp (n)) 个节点以任意精度近似,而在两层网络中只需要用 o (n) 个节点近似。

颁奖仪式上,获得“优秀好网民”奖的上海道小学的师生带来了合唱表演,小小好网民们以嘹亮童声献上《国家》,飞扬出美好新时代的动人旋律,唱响他们心中的未来。获得“人气好网民”奖的来自天津商业大学的志愿者通过演讲向到场观众分享了作为一名校园好网民,应该如何正确使用网络媒介,传播正能量,让网络充满阳光。

下面是向大家推荐的 GNN 论文:

「图表征学习」是本届 NeurIPS 上最受欢迎的研讨会。令人惊讶的是,该领域已经取得了如此大的进步。时间回到 2015 年,当我在实习期间开始研究图神经网络时,我没有想到会有如此多的研究人员参与到这个领域中来。

他呼吁人们研究「一种更通用的、受生物学启发的突触更新规则,它允许使用损失函数和梯度下降法,但并不要求一定要这么做」。

根据 Khan 的说法,深度学习使用的是一种「试错」的方法,我们通过实验看看会得到什么结果,然而贝叶斯原理迫使你事先考虑一个假设(先验)。

更多相关资讯请关注:生化奇兵专区

福州古厝遍布城乡,数量众多。其中,三坊七巷古街区内保存有200余座古建筑,15处全国重点文物保护单位,是不可多得的“明清建筑博物馆”;“乡村中的皇家园林”永泰爱荆庄,为土石木混合方形寨堡式建筑,共有361间房屋;闽清县的宏琳厝,历经200多年风雨沧桑,是中国最大、保存完好的古民居单体建筑。

凸优化问题之所以吸引人,是因为它们可以被精确地求解(可以实现 1e-10 的容错率),而且速度很快。它们也不会产生奇怪的或意料之外的输出,而这对于现实世界中的应用是至关重要的。尽管在真实场景中遇到的许多问题是非凸的,但是将它们分解为一系列凸问题可以达到很好的效果。

2. 科学研究应该是一个从假设到实验的过程,而如今的人工智能研究则往往是先做实验然后证明结果成立。

训练具有数百万参数的贝叶斯神经网络仍然需要非常大的计算开销。要想使网络收敛到一个后验上可能需要花费数周的时间,因此诸如变分推断这样的近似方法越来越流行。本届 NeurIPS 的「概率方法-变分推断」环节共有 10 篇论文与这类变分贝叶斯方法有关。

1、使用贝叶斯原理进行深度学习

图 6:用于问题的Hamiltonian 下降(HD)和梯度下降算法的对比情况

作为古厝修复的参与者,福州市人大代表薛金云说,古厝保护应该让游客知道这座建筑里曾经住过的人、发生过的事。

NTK 的观点还认为,神经网络只会像核方法一样泛化,但根据我们的经验来看,它们可以更好地泛化。

这使得图神经网络能够完美地适应组合优化(例如,旅行商问题、任务调度问题)、身份匹配(在这种问题中 Twitter 用户和 Facebook 的用户是一样的吗?)、推荐系统等任务。

Stephen Boyd 和 j. Zico Kolter 的实验室也展示了他们的论文「Differentiable Convex Optimization Layers」,该论文说明了如何通过凸优化问题的解来进行微分,这使得将它们可以被嵌入可微分的程序(如神经网络)并根据数据进行学习。

来自英伟达的工程师小姐姐 Chip Huyen 基于自己的参会体验,较为全面地总结了 NeurIPS 2019 反映的关键研究趋势。

然而,许多人认为 NTK 不能完全解释深度学习。一个神经网络要接近 NTK 状态需要具备学习率小、初始化宽度大、无权值衰减等超参数设置,而在实际训练中并不经常使用这样的设置。

传统的神经网络给出的是单点估计——它们使用一组权值针对一个数据点输出一个预测。另一方面,贝叶斯神经网络使用一个关于网络权重的概率分布,并输出该分布中所有权重组合的平均预测值,这与对许多神经网络求平均的效果相同。

Arthur Jacot 等人提出了「全连接的神经网络等价于宽度无限时的高斯过程」这一众所周知的概念,能够在函数空间而不是参数空间中研究它们的训练动力学(Training Dynamics)。他们证明了「在人工神经网络参数梯度下降的过程中,网络函数(将输入向量映射到输出向量)遵循关于一种新的核——NTK的函数代价的核梯度」。

下一步,河西区委网信办将联合好网民共建基地开展系列活动,通过一系列正能量充沛、主旋律高昂的活动,培养网民“有高度的安全意识、有文明的网络素养、有守法的行为习惯、有必备的防护技能”,弘扬社会主义核心价值观,促进网络空间更加清朗,画好网上网下同心圆。

图 1:泛化差异和泛化边界随训练集规模变化的情况

与此同时,Yuanzhi Li 等人的论文「Towards Explaining the Regularization Effect of Initial Large Learning Rate in Training Neural Networks」指出:「一个具有较大的初始学习率并使用退火算法训练的双层网络,比使用较小的初始学习率训练的相同的网络具有更好的泛化性能。这是因为学习率较小的模型首先会记忆低噪声、难以拟合的模式,它在较高噪声、易于拟合的情况下的泛化性能比学习率较大的情况下差一些。」

获奖者表示,好网民行动需要从自身做起、从点滴做起。今后将继续以实际行动践行好网民标准,自觉维护健康文明的网络环境,用更多更好的作品为推动天津互联网健康有序发展贡献自己的力量。(完)

尽管这些理论分析非常吸引人,也很重要,但是很难讲它们聚合成一个大的研究体系,因为这其中的一个研究都集中在整个系统的一个较为狭窄的方面。

我一直默默推崇 Stephen Boyd 关于凸优化的工作,所以很高兴看到它在 NeurIPS 上越来越受欢迎。在今年的 NeurIPS 上,有 32 篇论文是关于这个主题的。

他们还表明,当我们使用梯度下降法训练一个有限层版本的 NTK 时,其性能将收敛到宽度无限的 NTK 上,然后在训练中性能保持不变。

当然,这都是预先计划好的演出,随后游戏就恢复了正常画面,出现这样的效果只是Blood Thunder替换了过场动画而已。其实在2016年的SGDQ上,他也做过类似的事情,那时他把过场动画替换成了Win10的系统更新。或许他在速通练习的过程中,有过什么悲伤的经历。

一、 解构深度学习的黑盒

福州市人大代表王永福认为,“当务之急是要进一步摸清家底,建设古厝数据库进行分级分类管理。”

根据 Bengio 的说法,如果我们希望机器学习算法能够泛化到分布之外的样本上,那么受意识启发的方法可能是一种解决方案。

在今年福州市“两会”期间,与会代表、委员也纷纷建言献策,推进古厝保护。

有些我所熟知的智者纷纷离开了人工智能研究领域,投身工业界或神经科学领域。这是为什么呢?

在今年的 NeurIPS 上,研究者们提出了一系列新颖的方法,而不仅仅是在别人的工作上叠加上新的网络层。我感兴趣的三个方向是:贝叶斯学习、图神经网络,以及凸优化。

图 8:将机器学习用于意识&将意识用于机器学习——(1)形式化定义并测试特定的意识的假设函数(2)揭开意识的神秘面纱(3)从计算和统计的角度(例如,系统的泛化)理解意识演化的优势(4)将这些优势应用于学习智能体。

下面是向大家推荐的本届 NeurIPS 上有关贝叶斯深度学习的 3 篇论文:

图是适用于许多种数据(例如,社交网络、知识库、游戏的状态)的优雅而自然的表征形式。用于推荐系统的「用户-物品」数据可以被表示为一个二分图,其中一个不相交的集合由用户组成,另一个由物品组成。

三、神经科学 x 机器学习

“新时代有我更闪耀”好网民短视频大赛自8月上线以来,后台收到众多优秀作品,吸引网民投票达9万票。最终大赛组委会根据网友的线上投票选出“优秀好网民”、“人气好网民”、“新时代好网民”3个奖项,《上海道小学快闪》、《土地爷送锦旗》、《守护》等25个作品作者获奖。

图 4:(左图)二分图 St=(G,C,E,V)有 n=3 个变量和 m=2 个常量。(右图)用于将策略πθ(a|st)参数化的二分图 GCNN 架构。

Facebook 的人工智能总监表达了对算力达到瓶颈的担忧。人工智能企业不应该仅仅寄希望于通过更大的深度学习系统来不断取得进步。因为「现在,一个实验可能要花费七位数的金钱,但现实情况不会让这一数字增长到九位数或十位数,因为没人负担得起这样的开销」 Yoshua Bengio 认为以 Gary Marcus 为代表的一些人经常指出深度学习的局限性。Bengio 将 Gary Marcus 的观点总结为「你们看,我就说深度学习不行吧」,而 Gary Marcus 则反驳了这种说法。 针对这一趋势,Yann Lecun 谈到:「我不明白,为什么突然之间,我们看到了许多新闻和推特声称人工智能的进步正在放缓,或称深度学习正在碰壁。在过去的五年中,我几乎在每一次演讲上都会指出这两个局限和挑战。所以,认识到这些局限性并不是什么新鲜事。而且,实际上人工智能的发展并没有慢下来」。

在现实世界的应用中,让系统能够进行预测是远远不够的。弄明白每个预测的可靠性是很重要的。例如,对癌症进行预测时,可靠性为 50.1% 和可靠性为 99.9% 时的治疗方案是不同的。在贝叶斯学习中,非确定性估计是一个内在的特质。

在这种大环境下,我们很高兴看到探究深度学习背后的理论(深度学习为何有效?它是如何工作的?)的论文的数量迎来了爆炸式增长。

NeurIPS 2019 共举办 51 场研讨会,接收了 1,428 篇论文,以及有超过 13,000 名参会者,可谓万众瞩目。

在活动中,河西区委网信办对天津商业大学、中国工商银行天津市分行、中国银行天津市分行、中银保险天津分公司、廊坊银行天津分行等在教育领域、窗口行业发挥示范引领作用的单位授予“好网民共建基地”称号。

2、图神经网络(GNN)

图 2:测试准确率于批处理大小、学习率的诶关系。第四行分别是(1)使用 CIFAR-10 数据集训练的 ResNet-110 模型(2)使用 CIFAR-100 数据集训练的 ResNet-110 模型(3)使用 CIFAR-10 数据集训练的 VGG-19 模型(4)使用 CIFAR-100 数据集训练的 VGG-19 模型。每条曲线都是根据 20 个网络的情况综合绘制而出。

1. 我们需要理解人类学习的机制,从而教导机器进行学习。

神经切线核(NTK,https://arxiv.org/abs/1806.07572)是近年来提出的一个研究方向,旨在理解神经网络的优化和泛化。有关 NTK 的讨论多次出现在本届 NeurIPS 的亮点演讲中,我在 NeurIPS 期间也与其他人多次谈到 NTK。

福州市人大代表程璇提出,古厝保护修不仅要留住“形”,更要留住家风家训、文化特质和生活方式。

在本届大会上,我最喜欢 Aguera y Arcas 的演讲。他的演讲在理论上非常严谨,但同时也是可行的。他认为通过优化方法不足以获得类似于人类的智力:「优化不是生命体工作的方式,大脑不仅仅是在评估一个函数。它们会发展。它们会自我修正。他们从经验中学习。仅仅通过一个函数并不能包含这些东西」。

因此,贝叶斯神经网络是一种自然的集成,它的作用类似于正则化,并且能够防止过拟合。

这样的小插曲让不少人都感到十分有趣,当然,它也让节目募集到一些额外的善款。

NeurIPS 上的这一趋势与我观察到的现象不谋而合:很多人工智能界的研究人员正转而研究神经科学。他们把神经科学重新带回了机器学习领域。

该《决定》提出,探索古厝活化利用新路径,实现古厝保护与民生改善、城乡建设相得益彰;注重融合互联网、大数据、区块链、人工智能等现代科技,用新理念和新技术让古厝焕发新生活力,打造反映文化特征、地域特色、文脉传承、文物历史的古建筑集中区。

与常规的深度学习相比,贝叶斯深度学习有两个主要的优势:非确定性估计以及在小数据集上更好的泛化性能。

致公党福州市委会副主委徐小玲建议,开发体现福州地方特色木结构、斗栱、古厝模型等内容的文创产品;在对古厝进行数字化建档的基础上,实现数据共享,为教育和特色旅游服务,应用5G技术、3D、VR等手段再现古厝历史场景。

图 7:神经科学是论文接收率最高的类别

神经网络也使用凸优化的算法进行训练。然而,神经网络重点强调以一种端到端的方式从头进行学习,而凸优化问题的应用则显式地使用领域特定的知识对系统建模。如果能够以凸方法对系统进行显式建模,那么通常所需的数据就会少得多。关于可微凸优化层的工作是将端到端学习和显式建模的优势结合起来的一种方法。

下面,我们列出本届 NeurIPS 上一些基于 NTK 构建的论文:

目前最流行的图神经网络是图卷积神经网络(GCNN),这是意料之中的,因为图和卷积都可以编码局部的信息。卷积以寻找输入中邻近部分之间的关系为目标编码一种偏置。而图通过边对输入中关系最密切的部分进行编码。