数学与数据(MAD+)

主要内容

模态标题

模式内容

我们的过去的研讨会录制可在我们的YouTube频道．

请订阅这如果你愿意，你希望通过电子邮件得到关于这些演示的通知。此外你可以订阅to the iCal/ics Calender.

2021年春季学期

日期/时间

演讲者

标题

地点

2021年4月16日
17:00-18:00

里夫斯·盖伦教授
杜克大学，杜伦，美国

事件详细信息

数学和数据+ (MAD+)

标题	矩阵张量积的统计极限
演讲者,归属	里夫斯·盖伦教授，杜克大学，杜伦，美国
日期、时间	2021年4月16日17:00-18:00
地点	变焦会议
摘要	涉及大随机矩阵乘积的高维模型包括主成分分析中出现的尖矩阵模型和网络分析中出现的随机块模型。在这次演讲中，我将介绍最近的理论工作，这些工作为这些模型的广泛类提供了一个渐进精确的基本极限描述。演讲的第一部分将介绍“矩阵张量积”模型，并描述相关网络中社区检测理论的一些含义。第二部分将突出分析中的一些观点，这些观点建立在信息论和统计物理学的观点上。这次演讲的材料出现在以下论文:矩阵张量积的信息理论极限，盖伦·里维斯https://arxiv.org/abs/2005.11273

矩阵张量积的统计极限

变焦会议

2021年4月23日
17:00-18:00

克劳福德博士洛林
微软研究与布朗大学

事件详细信息

数学和数据+ (MAD+)

标题	将三维形状变异映射到基因型和表型变异的统计框架
演讲者,归属	克劳福德博士洛林，微软研究与布朗大学
日期、时间	2021年4月23日17:00-18:00
地点	变焦会议
摘要	最近，利用三维形状表面扫描的大规模数据库的管理促进了更好地检测形态变化中的全局模式的工具的开发。专注于识别形状差异的研究仅限于简单的两两比较，并依赖于预先指定的地标(通常是已知的)。在这次演讲中，我们将介绍SINATRA:一种不需要任何对应就能分析形状集合的统计管道。我们的方法采用了两类形状，并突出了最能描述它们之间变化的物理特征。SINATRA管道实现了四个关键步骤。首先，SINATRA通过向量(或曲线)的集合总结了三维形状(表示为三角形网格)的几何形状，这些向量(或曲线)在拓扑中编码变化。其次，使用非线性高斯过程模型，以拓扑摘要作为输入，对形状进行分类。第三，对分类模型中使用的每个拓扑特征计算一个效应量模拟量和相应的关联度量。这些量证明了一个给定的拓扑特征与一个特定的类相关联。第四，管道通过一种重建算法将拓扑特征迭代映射回原始形状(根据它们的关联度量排序)。 This highlights the physical (spatial) locations that best explain the variation between the two groups. We use a rigorous simulation framework to assess our approach, which themselves are a novel contribution to 3D image analysis. Lastly, as a case study, we use SINATRA to analyze mandibular molars from four different suborders of primates and demonstrate its ability recover known morphometric variation across phylogenies.

将三维形状变异映射到基因型和表型变异的统计框架

变焦会议

2021年5月7日
17:00-18:00

博士Inbar Seroussi
以色列魏茨曼科学研究所

事件详细信息

数学和数据+ (MAD+)

标题	在高维中我们能推广到什么程度?
演讲者,归属	博士Inbar Seroussi，以色列魏茨曼科学研究所
日期、时间	2021年5月7日，17:00-18:00
地点	变焦会议
摘要	深度学习算法的运行机制与经典学习理论相悖。神经网络结构通常包含比训练样本更多的参数。尽管它们非常复杂，但在真实数据上实现的泛化误差很小。在这次演讲中，我们的目标是研究算法在高维空间中的泛化性质。有趣的是，我们发现高维的算法需要一个小的偏差来获得良好的泛化。我们证明，在过度参数化的情况下，深度神经网络确实如此。此外，我们还提供了任何算法在不同设置下的泛化误差的下界。我们使用随机矩阵理论(RMT)来计算这样的边界。我们将回顾深度神经网络和RMT之间的联系和已有的结果。当由于模型的复杂性和非线性而无法对标准性能界限进行分析评价时，这些界限特别有用。 The bounds can serve as a benchmark for testing performance and optimizing the design of actual learning algorithms. (Joint work with Prof. Ofer Zeitouni)

在高维中我们能推广到什么程度?

变焦会议

2021年5月14日
17:00-18:00

马毅教授
加州大学伯克利分校，美国

事件详细信息

数学和数据+ (MAD+)

标题	《第一原理》中的深度(卷积)网络
演讲者,归属	马毅教授，加州大学伯克利分校，美国
日期、时间	2021年5月14日17:00-18:00
地点	变焦会议
摘要	在这次演讲中，我们从数据压缩(和群不变性)的角度提供了一个完全“白盒”的深度(卷积)网络解释。特别地，我们展示了现代的深层结构，线性(卷积)运算符和非线性激活，甚至所有的参数都可以从最大速率降低(具有群不变性)的原则中得到。网络的所有层、算子和参数都是通过正向传播来明确构造的，而不是通过反向传播来学习。这样得到的网络(称为ReduNet)的所有组成部分都有精确的优化、几何和统计解释。这种原则性方法也有一些令人惊喜的地方:它揭示了类可分离性的不变性和稀疏性之间的基本权衡;它揭示了群不变性的深层网络和傅里叶变换之间的基本联系——谱域的计算优势(为什么是尖峰神经元?)这种方法还阐明了前向传播(优化)和后向传播(变异)的数学作用。特别地，这样得到的冗余可以通过前向和后向(随机)传播进行微调，两者都是为了优化同一目标。这是与伯克利的学生余耀东、陈瑞安、齐浩志、谷歌研究中心的尤崇博士和哥伦比亚大学的约翰·赖特教授的合作。

《第一原理》中的深度(卷积)网络

变焦会议

2021年5月28日
17:00-18:00

Robert D. Nowak教授
威斯康星大学麦迪逊分校，美国

事件详细信息

数学和数据+ (MAD+)

标题	神经网络的巴拿赫空间表示定理
演讲者,归属	Robert D. Nowak教授，威斯康星大学麦迪逊分校，美国
日期、时间	2021年5月28日，17:00-18:00
地点	变焦会议
摘要	这个演讲提出了一个变分的框架，以理解神经网络学习到的函数的性质适合数据。该框架基于Radon域定义的全变分半范数，非常适合神经激活函数(脊函数)的分析。在具有小半范数的情况下，找到一个适合数据集的函数是一个无限维变分优化。我们推导了一个表示器定理，证明有限宽神经网络是变分问题的解。表示器定理让人想起经典的再现核希尔伯特空间表示器定理，但我们证明了神经网络是非希尔伯特Banach空间的解。当学习问题是在无限维函数空间中提出时，类似于核方法，它们可以被重新定义为有限维神经网络训练问题。这些神经网络训练问题都有正则化器，这些正则化器与众所周知的权值衰减和路径范数正则化器有关。因此，研究结果为过度参数化神经网络的功能特性以及神经网络正则化器的设计提供了新的思路。我们的结果也为深度学习体系结构的一些实证结果提供了新的理论支持，包括“跳过连接”、稀疏性和低秩结构的好处。这是和拉胡尔·帕尔希的合作。生物学:Robert D. Nowak，威斯康星大学麦迪逊分校工程Nosbusch教授，主要研究方向为信号处理、机器学习、优化和统计。

神经网络的巴拿赫空间表示定理

变焦会议

存档:FS 21 HS 20 FS 20