演讲(标题和摘要)

主要内容

弗朗西斯·巴赫:基于最优传输的超参数模型梯度下降的全局收敛性
机器学习和信号处理中的许多任务都可以通过最小化度量的凸函数来解决。这包括稀疏峰值反褶积或使用单个隐藏层训练神经网络。针对这些问题,我们研究了一种简单的最小化方法:将未知测度离散为粒子的混合物,并对其权重和位置进行连续时间梯度下降。这是用一个大隐层训练神经网络的通常方法的一种理想化。我们证明,当初始化正确和在多粒子极限,梯度流,虽然非凸,收敛到全局最小。这个证明涉及到沃瑟斯坦梯度流,这是最优输运理论的一个副产品。数值实验表明,这种渐近行为已经在一定数量的粒子中发挥作用,甚至在高维中。(与Lénaïc Chizat合作)

赫尔穆特•Bolcskei:深度神经网络学习的基本极限
我们通过描述在没有对学习算法和训练数据量施加约束的情况下可能发生的情况,发展了深度神经网络学习的基本限制。具体地,我们通过深度神经网络考虑Kolmogorov最优逼近,其指导主题是函数(类)的复杂性之间的关系。要进行近似,以及近似网络在存储网络拓扑和相关量化权重的连接性和内存需求方面的复杂性。我们发展的理论导出了深层网络的显著普适性。具体来说,深度网络是非常不同的函数类(如仿射系统和Gabor系统)的最佳逼近。此外,深度网络提供指数逼近精度,即,在包含乘法运算、多项式、正弦函数、一般光滑函数等多种不同函数的网络中,逼近误差在非零权重的数量上呈指数衰减,甚至一维振荡纹理和分形函数,如Weierstrass函数,它们都没有任何已知的方法达到指数近似精度。我们还表明,在充分光滑函数的近似下,有限宽度的深网络比有限深度的宽网络需要严格更小的连通性。

雅特锡食物:基于散射系数的高对比度目标成像超分辨率研究
在这篇演讲中,我们关注一个声学/横向电(TE)/横向磁(TM)逆散射问题,并基于散射系数的概念对实验观察到的高对比度目标成像中的超分辨率现象进行数学分析。我们首先介绍了非均匀介质散射系数的概念,并对其进行了分析,以帮助我们理解问题在固定频率下的指数不适定性。基于这种新的散射系数概念,进行了灵敏度和分辨率分析,从数学上评估了重建质量,并证明了高对比度目标成像中的超分辨率现象。
我们用各种数值例子来说明我们的主要发现。这些发现可能有助于发展共振结构以提高分辨率。
本次演讲基于与Habib Ammari (ETH)和Zou Jun(中大)的合作。

迈克尔·兰德:数据稀疏建模及其与深度学习的关系
稀疏逼近是一种成熟的理论,对信号和图像处理领域有着深远的影响。在本次演讲中,我们首先介绍该模型及其特点,然后介绍它的两种特殊情况–卷积稀疏编码(CSC)及其多层版本(ML-CSC)。令人惊奇的是,正如我们将仔细展示的,ML- CSC为深入学习提供了坚实的理论基础。除了为深度学习提供理论基础这一主要信息外,另一个贯穿整个演讲的中心信息将伴随我们:用于描述数据源的生成模型使我们能够系统地设计算法,同时也为这些算法的性能提供了一个完整的理论分析机制。本次讲座面向该领域的新手,假设之前没有关于稀疏近似的知识。

Bangti金:逆问题的随机梯度下降
在这次演讲中,我将讨论求解逆问题的随机梯度下降法。该算法的变体在实践中非常流行。然而,他们关于不适定逆问题的理论在很大程度上仍然缺失。在这次演讲中,我将从反问题的角度,特别是正则化性质和前渐近收敛的角度,介绍一些最近的方向上的结果。

丹尼尔Razansky:光声图像重建与量化的突出挑战
本次讲座主要从图像重建和量化的角度讨论光声成像这一新兴主题。光声成像结合了非常吸引人的特性,包括在感测不同生物目标时具有丰富的对比度和高度的通用性、不受光散射影响的出色空间分辨率以及相对较低的实现成本。然而,由于在激发光和产生的超声波传播的基础上存在高度不均匀的组织背景,活体物体呈现出光声成像的复杂目标。因此,提取组织生色团和其他生物标记物实际分布的量化信息构成了一个具有挑战性的重建问题。目前可用的声学反演问题的方法,稀疏信号表示,减少图像伪影的方法以及组织生物标记的光谱分解都得到了解决。不同方法的适用性将在小动物和临床活体成像场景中的实际表现背景下进一步分析。


Jin-Keun Seo:深入学习解决医学中的不适定反问题
深度学习技术越来越多地被用于解决医学中的病态逆问题。传统上,基于惩罚的正则化方法(“单一”数据保真度与正则化)被用来解决不适定问题。最近,深度学习方法使用“群”数据保真度来学习逆映射。在这里,学习训练数据的非线性回归提供了复杂的输出先验知识。我们有一些从组数据保真度学到的重建函数的例子,这似乎有高度表达的表现,捕捉解剖几何和小的异常。这些话题将在这次演讲中讨论。

Michael Unser:从压缩感知到深度神经网络
我们的目的是演示样条的最优性来解决成像中的反问题和深度神经网络的设计。为此,我们首先描述最近用定理表明极值点的一类广义线性逆问题全变差正则化自适应样条函数的类型与底层的正则化算子L .例如,当L n阶导数(分别地。在拉普拉斯算子中,最优重构是一个非一致多项式。自适应结点数目尽可能最小的样条。
关键的观察是,这种连续域解本质上是稀疏的,因此与压缩感知中使用的公式(和算法)兼容。
然后,我们通过应用这个定理来优化深度神经网络中单个激活的形状,从而将当前的学习技术与之联系起来。通过选择正则化函数作为二阶全变分,得到了一个“最优”的深度样条网络,该网络的激活方式为分段线性样条,具有少量自适应节点。由于每个样条结都可以用一个ReLU单元进行编码,这为流行的ReLU体系结构提供了一个变化的理由。这也提出了一些新的计算挑战,以确定最优激活涉及relu的线性组合。


艾琳Waldspurger:伯尔-蒙泰罗分解的秩最优性
在过去的几十年里,半定程序作为一种强大的方法在多项式时间内解决困难的组合优化问题。不幸的是,它们很难在高维中数值求解。这次演讲将讨论一个经典的启发式方法用来加速求解,即伯尔-蒙泰罗分解法。我们将回顾已经建立的这个启发式的主要正确性保证,并研究它们的最优性。最后,我们将讨论它在相位恢复问题中的应用。

海张:金属板中狭缝结构对光的反常散射
自艾贝森发现金属薄膜中纳米孔阵列的特殊光透射现象以来,在亚波长纳米结构的局域电磁场增强和光透射增强的实验和理论研究方面引发了许多研究。然而,自埃贝森的工作以来,关于增强效应的解释一直存在着长期的争论。此外,对增强的定量分析仍是广泛开放的。在这次演讲中,我将以二维狭缝为原型,介绍场增强和传输增强的数学研究。基于层势技术,通过渐近分析,揭示了不同类型的增强机理,包括法布里-珀罗型共振、表面波、嵌入特征值和法诺共振。

浏览器中的JavaScript已被禁用