研究报告

年:202320222021202020192018201720162015201420132012201120102009200820072006200520042003200220012000199919981997199619951994199319921991

高维深度学习

施瓦布和泽克

(报告编号2017-57)

摘要
我们估计了一类深度神经网络(DNNs)在参数域\(u =[-1,1]^{\mathbb{N}}\)上的一类可数参数映射\(u: u \到\mathbb{R}\)上的表达能力。例如，具有分布不确定输入(即来自函数空间的输入数据)的参数偏微分方程的响应面会出现这种映射。为这些空间配备合适的基，不确定输入的实例成为这些基中表示的(系数)参数序列。可数参数映射\(u: u\ to \mathbb{R}\)的广义多项式混沌(gpc)近似的维无关逼近率仅依赖于\(u\)的gpc展开的稀疏度，其稀疏度由其gpc展开系数序列的可和指数量化:对于具有一些\(0 < p < 1\)的\(p\)-稀疏的参数映射，我们证明了DNN的特定结构在\(N\)方面具有相同的收敛速率，即DNN中的单元总数。所谓的\(({\boldsymbol b}，\varepsilon)\)-全纯映射\(u\)与\({\boldsymbol b}\in\ well ^p\)对于一些\(p\in(0,1)\)在计算不确定性量化的许多应用中出现。对于这类函数，直到对数因子，我们证明了关于DNN中单元的总数\(N\)的维无关逼近率\(s = 1/p-1\)。这表明DNN架构在表达具有一定稀疏度的可能无限参数实值映射时可以克服维数的诅咒。这种图的例子包括具有分布不确定输入数据的参数化和随机偏微分方程模型的响应图。

关键词:

助理

@Techreport{SZ17_753，作者= {Schwab and J. Zech}，题目={高维深度学习}，机构= {ETH Z{\"u}rich}应用数学研讨会，编号={2017-57}，地址={瑞士}，url = {https://www.sam.www.cintaputih.com/sam_reports/reports_final/reports2017/2017-57.pdf}，年份= {2017}}

免责声明
©本服务器上文档的版权归作者所有。以电子或机械方式(包括信息存储和检索系统)复制的这些文件，只能供个人使用。管理员恭敬地要求作者在论文发表时通知他们，以避免侵犯版权。请注意，未经授权复制受版权保护的材料是非法的，并可能导致检控。无论是管理员还是应用数学研讨会(SAM)都不承担任何责任。SAM报告的最新版本在格式和风格上可能与已发布的期刊版本有所不同。尽可能参考已发布的版本(参见山姆的出版物）.