威廉希尔体育,威廉体育官方

“随机优化系列学术讲座” 是为提升我院优化研究团队科研能力而组织的国际化学术交流活动。系列讲座的第七讲于2025年11月13日下午在智能应用研究院302会议室顺利举行。本次讲座由王林教授主持并邀请泰国蒙库特国王科技大学理论与计算研究中心的Mahmoud M. Yahaya博士作题为《Faster Single-loop Algorithms for Minimax Optimization without Strong Concavity》的学术报告。

Mahmoud M.Yahaya博士在报告中指出，传统梯度下降上升算法在理论和实践方面均存在收敛速度迟缓的局限，即便目标函数满足强凹性假设，此问题依旧存在。为摆脱对强凹性的依赖，同时提高非凸极小极大优化问题的求解效率，Mahmoud M.Yahaya博士在报告里着重介绍了两类改进算法，即交替梯度下降上升算法与光滑梯度下降上升算法。在较弱的Polyak–?ojasiewicz条件下，分别给出了这两种算法在确定和随机情形下的收敛复杂度。其中，光滑梯度下降上升算法在随机情形下达到了目前已知的最优样本复杂度O(κ^2??4)，且无需依赖大批量样本。

此外，Mahmoud M. Yahaya博士还系统地阐述了非凸-（强）凹随机极小极大优化问题的泛化性能分析。他从一致收敛和算法稳定性两个角度出发，建立了该问题在平稳度量下的泛化误差上界。他详细介绍了在非凸-强凹与非凸-凹两种假设条件下的算法样本复杂度O(dκ^2??2)O(d?^?4)，并进一步分析了随机梯度下降上升算法与采样确定算法的泛化性能。他还介绍了一种新颖的“一致原始稳定性”概念，在维数为d的情况下成功建立了算法稳定性与泛化误差之间的联系，突破了传统函数值间隙分析在非凸问题中的局限性。尽管该方法在高维场景下的理论分析仍有待进一步完善，但对生成对抗网络、对抗训练等实际应用具有重要的指导意义。

在生成对抗网络和鲁棒非线性回归问题的数值实验中，经过对多种网络架构和数据集的系统验证，结果显示光滑梯度下降上升算法在各项评估指标上均优于传统的交替梯度下降上升算法。

报告内容条理清晰、深入浅出，极大地引发了在场师生的浓厚兴趣。讲座结束后，在场师生围绕PL条件的适用性、算法实现细节及其在实际应用中的调参策略等问题，与Mahmoud M. Yahaya博士展开了热烈且深入的交流。

通过此次讨论，我院优化研究团队的师生对单循环算法以及泛化界的理论框架与应用路径有了更为系统的认识，为相关研究的推进提供了重要启发。