Peter Bartlett:大规模模型选择的Oracle不等式

在许多大规模的高维预测问题中，性能受到计算资源而不是样本大小的限制。在这种情况下，我们考虑计算约束下的模型选择问题:给定特定的计算预算，是收集更多的数据并估计一个更简单的模型更好，还是收集更少的数据并估计一个更复杂的模型更好?介绍了在计算约束下模型选择的一般步骤。与经典的oracle不等式相比，我们给出了计算oracle不等式，它表明模型选择方案在给定样本量的近似误差和估计误差之间给出了一个接近最优的权衡，它表明我们的方法对给定的计算量给出了一个接近最优的权衡，也就是说，将我们所有的计算预算投入到最佳模型中不会导致显著的性能改进。
与Alekh Agarwal, John Duchi和Clement Levrard合作。

Peter Bickel:无标签图的推断

鉴于像互联网这样的密集网络的出现，以及像Facebook这样的表现形式，最近大量的注意力被给予了可能带有协变量的无标记图。一个被大量研究的问题是个体群体的识别，对应于无标记图的顶点。在Newman(2010)、Kleinberg等人(2010)和Kolaczyc(2010)最近的专著中可以找到对这些问题和其他问题的描述。在社会科学中有很发达的推理文献，见Wasserman和Faust(1994)，但所涉及的网络规模往往较小。Chen和我最近为无限无标记图的概率遍历模型引入了一个非参数框架(PNAS 2009)，并与物理学文献中的模块化和社会科学中的社区模型进行了一些联系。我们希望在这个框架中开发探索性和确证性的方法，在这种复杂的环境中澄清和测试参数假设的力量，它们的类似物在对独立观测样本的模型研究中具有这种能力。我们将推进并给出一些我们已经开发的针对稠密图和稀疏图的方法的结果。
这是与Aiyou Chen, Liza Levina和Sharmodeep Bhattacharyya的合作。

高维矩阵最优估计的同步变量和秩选择

高维数据建模已成为一项普遍存在的任务，降低维数是典型的解决方案。本讲座主要讨论稀疏多元响应回归模型的最佳降维问题，其中响应的数量和预测因子的数量都可能超过样本量。预测器选择和降阶有时被视为互补的，是在这类模型中获得参数矩阵的低维近似的最流行的策略。它们都不是单独为同时选择和秩降而量身定制的，因此，对于只对应于可用预测因子总数中的少数几个的低秩模型，它们都不可能是最优的极小极大率。到目前为止，还没有被证明具有这种性质的估计器。这里介绍的工作试图弥补这一差距。我们指出，有些令人惊讶的是，由首先选择预测因子，然后降低秩组成的过程并不总是产生极小极大自适应的估计。我们表明，这可以通过执行联合排名和预测器选择来补救。我们提出的方法是基于惩罚最小二乘，与新的惩罚设计与适当的概念矩阵稀疏性的头脑。特别重要的是，这些惩罚对于调优参数的数据自适应选择相当稳健，这使得它们在实践中特别具有吸引力。 Our results can be immediately applied to standard multivariate analyses such as sparse PCA or CCA, as particular cases, or can be easily extended to inference in functional data. We support our theoretical results with an extensive simulation study and offer a concrete data example.
幻灯片(PDF, 264kb)vertical_align_bottom

Emmanuel Candès:稳健的主成分分析?一些理论和一些应用

这次演讲是关于一个奇怪的现象。假设我们有一个数据矩阵，它是一个低秩分量和一个稀疏分量的叠加。我们能单独恢复每个组件吗?我们证明了在适当的假设下，通过求解一个非常方便的凸程序，可以精确地恢复低秩分量和稀疏分量。这暗示了稳健主成分分析的原则性方法的可能性，因为我们的方法和结果断言，即使数据矩阵的正部分条目被任意损坏，也可以恢复数据矩阵的主成分。这也扩展到部分条目缺失的情况。在演讲的第二部分，我们将介绍计算机视觉的应用。例如，在视频监控中，我们的方法允许在杂乱的背景中检测物体。我们展示了该方法如何适应于同时对齐一批图像并纠正每张图像中的严重缺陷/损坏，从而打开新的视角。
与X. Li, Y. Ma和J. Wright合作。

希尔伯特空间值函数的最优抽样

本次演讲将关注从几个精心选择的样本中重构映射y−>u(y)的问题，其中y是一个(可能是高维的)输入参数向量，u(y)在无限维希尔伯特空间中取其值。我们将解释当处理参数或随机偏微分方程时，这类问题是如何以自然的方式出现的。然后，我们将提出并分析一种以最优方式选择样本参数向量的贪婪算法:约简基法。抽象地说，该算法的目标是在希尔伯特空间中建立一个最优的n维空间来近似一般紧集K。从统计的角度来看，该算法不同于通常的主成分分析，在某种意义上，近似误差控制在最大而不是最小二乘意义上。

Vladimir Koltchinskii:低秩矩阵恢复的复杂度惩罚

本文将讨论基于矩阵随机线性泛函的有限次噪声测量的大型厄米m×m矩阵a的估计问题。这包括许多例子，如矩阵补全(当泛函只是矩阵的条目时)和量子态层析成像中密度矩阵的估计。我们将考虑基于核范数或von Neumann熵(在量子态层析成像的情况下)的复杂度惩罚最小二乘方法的各种版本，并讨论最近的oracle不等式，显示此类估计器的误差如何依赖于目标矩阵的秩和问题的其他参数。

Bani K. Mallick:大规模逆问题中的贝叶斯推理和不确定性量化

我们考虑一种贝叶斯方法来解决非线性逆问题，其中未知量是一个随机场(空间或时间)。贝叶斯方法以先验信息的形式包含了一种自然的正则化机制，可以合并来自异质来源的信息，并在逆解中提供对不确定性的定量评估。贝叶斯设置将逆解作为模型参数上的后验概率分布。Karhunen-Loève展开用于随机场的降维。此外，我们使用层次贝叶斯模型在建模框架中注入多尺度数据。在这个贝叶斯框架中，我们证明了后验测度相对于总变异范数的数据是Lipschitz连续的，从而证明了这个逆问题是很好的。这种构造中的计算挑战来自于对正向模型(例如在MCMC的背景下)的重复评估的需要，并与后验模型的高维数复合。我们开发了两阶段可逆跳转MCMC，它具有在第一个廉价阶段筛选不良方案的能力。通过对模拟和实际数据的分析，给出了数值结果。

Ivan Mizera:凸优化的谨慎魅力

有计算背景的数据分析师比传统统计学家更相信，在拟议的统计算法中，保持优化问题的凸性可以节省大量的麻烦和精力，并且通常可以完成工作。虽然我们不打算也不敢宣称这是一个普遍的教条，但我们将从我们的研究中撷取两个比喻，试图说明这一论点可能有些道理。特别地，我们将讨论我们对形状约束密度估计的看法，以及它延伸到经验贝叶斯复合决策规则——凸优化的现代内点方法是给定背景下的一种潜在主题。
和Roger Koenker合作。

Susan Murphy:不规则参数的自适应置信区间

当科学兴趣集中在正则参数的非光滑函数上时，通常会出现不规则参数。这些不规则参数出现在分类器性能的评估、多阶段决策政策的估计和许多经济模型中。事实上，使用阈值法来提供可解释的结果并提高预测性能的方法会产生这种类型的不规则参数。这是因为这些方法可以被解释为估计底层高维参数的稀疏版本。如果完全考虑置信区间，大多数研究假设潜在的难以置信的“类边际”条件，以证明所提出的置信区间方法。我们描述了一种不同的方法，即在参数上构造光滑的上下界，然后根据光滑的上下界确定置信区间。特别将讨论和对比两种设置，即错误分类率的置信区间和多阶段决策策略中参数的置信区间。
幻灯片(PDF, 94kb)vertical_align_bottom

亚科夫·里托夫:一些关于高维贝叶斯方法的思考

James Robins:参数化，可能性，半参数化，因果图，复杂因果模型的模型选择和发现

我将讨论最近关于可能性的新因式分解的结果。对于(i)半参数因果模型(边际结构模型和结构嵌套模型)和(ii)带有未测混杂因素(隐变量)的非参数因果图形模型。我将展示具有实质意义的因果问题如何指示因子分解的选择(例如，因果完全MSM因子分解适用于对直接效应的推断)，而R(递归)因子分解适用于构建算法，以在非参数因果图形模型的设置中执行模型选择和因果发现。与每一个因式分解相关的是一个参数化。参数化决定了双鲁棒估计量的形式和在诸如用于模型选择的BIC等评分算法中最大化的可能性。我将推导出这些备用参数化之间的关系(即映射或微分胚)。
这是与Thomas Richardson, Ilya Shpitser, Robin Evans, Eric Tchetgen和Andrea Rotnitzky的合作。

Angelika Rohde:高维高斯矩阵经验投影的准确性

设∈RM×M是一个以心为中心的高斯矩阵，其项与方差σ2无关。研究了确定性矩阵C下X=C+的降秩投影的准确性。结果表明，C的奇异值谱的振幅和形状的组合决定了经验降秩投影的质量，我们对一些原型矩阵C进行了量化。我们的方法不涉及线性算子的解析摄动理论，特别涵盖了多个奇异值的情况。主要的证明依赖于具有伯恩斯坦尾的非中心过程上的上界，该上界建立在沿同心希尔伯特-施密特范数球几何网格的格拉斯曼流形的切面上。结果伴随着各种假设下的下界。

Ulrike Schneider:高维高斯回归中阈值估计量的分布结果

在线性回归模型中，我们研究了硬、软和自适应软阈值估计量的分布，其中参数k的数量取决于样本量n，并可能随n而离散。除了已知误差方差的情况外，我们还定义和研究了误差方差未知时估计量的版本。我们推导了每个估计量的有限样本分布，并研究了其在大样本极限下的行为，还研究了当自由度n-k不趋于无穷大或趋近无穷大非常缓慢时必须估计方差的影响。我们的分析包括两种情况，一种是调优估计量以执行一致的模型选择，另一种是调优估计量以执行保守的模型选择。此外，我们讨论了一致性、一致一致性，并推导了两种调优方式下的极小极大率。
这是与Benedikt Pötscher的合作成果。
幻灯片(PDF, 592 KB)vertical_align_bottom

伯恩哈德Schölkopf: tba

Joel Tropp:随机矩阵和的用户友好型尾界

我们考虑迹回归模型，其中观测值是一个被噪声破坏的未知矩阵的项的线性组合，并且矩阵的维数可能远远大于样本容量。本讲座讨论了在低秩假设下的基础矩阵的估计，特别强调了仅在期望中满足约束等距或约束特征值性质的问题，如噪声矩阵补全或矩阵回归。对于包括线性化Lasso估计量在内的几种估计量，我们得到了预测和估计风险的非渐近上界，并在满足低秩假设的不同矩阵子类上证明了它们在极大极小意义上的最优性。我们还讨论了不存在由未知矩阵确定的基础模型的统计学习设置，目的是找到接近数据的最佳跟踪回归模型。作为一个副产品，我们证明，在受限特征值条件下，常向量Lasso估计量满足一个尖锐的oracle不等式(即，一个前导常数为1的oracle不等式)。
我们介绍了一种研究独立对称随机矩阵和的最大特征值的新方法。这种方法的结果是对与Azuma、Bennett、Bernstein、Chernoff、Freedman、Hoeffding和McDiarmid相关的经典尾界的一组完整扩展。以下是矩形随机矩阵的结果。这项研究的灵感来自于Ahlswede- Winter和Rudelson- Vershynin的工作，但新的方法比早期的结果有了本质的改进。我们相信这些技术有潜力简化一大类随机矩阵的研究。
幻灯片(PDF, 188kb)vertical_align_bottom

Alexandre Tsybakov:高维矩阵估计中的速率最优性

我们考虑迹回归模型，其中观测值是一个被噪声破坏的未知矩阵的项的线性组合，并且矩阵的维数可能远远大于样本容量。本讲座讨论了在低秩假设下的基础矩阵的估计，特别强调了仅在期望中满足约束等距或约束特征值性质的问题，如噪声矩阵补全或矩阵回归。对于包括线性化Lasso估计量在内的几种估计量，我们得到了预测和估计风险的非渐近上界，并在满足低秩假设的不同矩阵子类上证明了它们在极大极小意义上的最优性。我们还讨论了不存在由未知矩阵确定的基础模型的统计学习设置，目的是找到接近数据的最佳跟踪回归模型。作为一个副产品，我们证明，在受限特征值条件下，常向量Lasso估计量满足一个尖锐的oracle不等式(即，一个前导常数为1的oracle不等式)。

马丁·温赖特:是的

张存辉:高维稀疏估计问题的凹正则化

凹正则化方法为稀疏恢复提供了自然的过程。然而，它们在高维环境下很难分析。直到最近，一些通过专门的数值方法得到的特定局部解的稀疏恢复结果才被建立起来。然而，这些解之间的基本关系，例如它们是否相同或它们与潜在的非凸公式的全局最小值的关系，是未知的。我们通过提出一个通用的理论框架来填补这一概念空白，该框架表明，在适当的条件下，非凸正则化的全局解可获得理想的恢复性能;在适当的条件下，全局解对应唯一稀疏局部解，可通过不同的数值方法得到。这种统一的方法使凹高维稀疏估计过程得到了更满意的处理，并为凹正则化的进一步发展提供了指导。
这是我和张彤的合作。