科学研究

       2024年10月29日，上海交通大学自然科学研究院/数学科学学院张耀宇副教授受邀作题为“神经网络样本效率的乐观估计”的学术报告，报告于长安校区理学院201会议室举行。数学与统计学院院长聂玉峰教授、上海交通大学许志钦副教授等20余位师生参会，会议由赵丽静副教授主持。

      估计神经网络的样本效率，即拟合目标函数所需的样本量，是深度学习理论中的一个重要问题。实验表明，传统的基于最差情况的样本量估计显著低估了神经网络的实际性能。张耀宇副教授的报告针对样本效率，提出了一种乐观估计方法，用于定量估计最佳可能情况下的样本效率，克服了传统估计的局限性。张耀宇老师由浅入深，一步一步地阐明了“样本效率的乐观估计能够定量地反映模型的实际性能”这一事实；并通过详细分析指出，对于神经网络模型，通过增加网络的宽度以提高参数量不会损害神经网络的样本效率，而通过增加(非必要的连接来提高参数量则会显著损害样本效率。本次报告中的相关分析为实践中普遍采用增加宽度、而较少增加连接的规模护张策略提供了理论依据。交流环节中，张耀宇和许志钦与在场师生进行了热烈的互动研讨。

      最后，赵丽静在总结发言中表示，希望参会师生能够通过本次报告在自身熟悉的传统数值方法研究的基础上开阔科研思路和格局，对类似“深度学习”等新型科研范式保持开放、乐观的态度，并勇于探索未知领域。

      个人简介：张耀宇，上海交通大学自然科学研究院/数学科学学院长聘教轨副教授。2012年于上海交通大学致远学院获物理学士学位。2016年于上海交通大学获数学博士学位。2016年至2020年，分别在纽约大学阿布扎比分校&柯朗研究所、普林斯顿高等研究院做博士后研究。他的研究聚焦于深度学习的基础理论，相关论文发表于JMLR、SIMODS、NeurIPS等期刊和会议。相关研究获得了上海市海外高层次人才计划和临港实验室求索杰出青年计划的支持。

文：赵丽静，赵倩/图：赵丽静/审核：都琳