报告问题 (Title)：泛化体现学习：从单使命到多使命

报告人 (Speaker)： 景丽萍 教授（北京交通大学）

报告时间 (Time)：2023年11月22日(周三) 20:30

报告所在 (Place)：腾讯聚会 724364448

约请人(Inviter)：彭亚新 教授

主理部分：理学院数学系

报告摘要：从重大、冗余、动态的高维数据中抽取其实质信息，，，形成简朴、泛化、稳固的低维体现是深度学习的要害目的之一。。古板学习理论所依据的数据自力同漫衍假设往往无法知足开放场景的真实需求。。效劳于深度学习的信息瓶颈理论在指导学习要领设计时往往面临无法有用平衡信息压缩量和学习的泛化性。。近年的PAC-Bayes信息瓶颈缓解了这个问题，，，但需要盘算腾贵的二阶曲率，，，这阻碍了其大规模的应用推广。。为此，，，科研团队提出了可识别信息瓶颈，，，使用密度比率匹配优化的可识别性，，，在无需二阶信息的条件下提升体现的泛化能力。。与此同时，，，针对重大的多使命非自力同漫衍设置下，，，模子面临着顺应目今使命清静衡已往使命的两难逆境。。我们从理论上证实晰深度网络训练时归一化操尴尬刁难该问题的影响，，，使用不确定性预计，，，提出了自顺应平衡批归一化战略，，，提升对新使命体现的泛化性，，，确保模子具备一连学习能力。。