CVPR2023｜清华大学提出GAM：神经网络“一阶平滑优化器”，显著提升模型“泛化能力”
2024-12-26 23:24
关注公众号，发现CV技术之美
近年来，神经网络收敛位置的平滑性(flatness)被证明与模型泛化能力有直接的联系，而现有对平滑性的定义仍局限于sharpness-aware minimization(SAM)及其变体的零阶平滑性(zeroth-order flatness)，即收敛位置邻域域内最大损失值与当前损失值的差。清华大学崔鹏教授的CVPR2023 Highlight论文”Gradient norm aware minimization seeks first-order flatness and improves generalization”发现零阶平滑性有一定的局限性，所以提出了一阶平滑性的概念，并进一步提出了可以约束一阶平滑性的优化器GAM，大量实验证明GAM相比于现有优化器有更强的泛化能力。
- 论文：https://arxiv.org/abs/2303.03108
- 代码：https://github.com/xxgege/GAM
sharpness-aware minimization(SAM)[3]理论证明了平滑极值点在测试数据上的泛化误差低于尖锐极值点，并进一步提出了优化零阶平滑性，即收敛位置邻域半径（perturbation radius,
最新文章
微信清理大师
《微信清理大师》是一款简单实用的微信优化和清理的手机工具，这款软件操作方便，而且对于用户的隐私信息也有保护作用全方位扫描，为用户清理微信后台垃圾，释放手机空间，加速手机微信的运行的速度，让自己的微信更加的极速！感兴趣的小伙
排行榜：五款免费大头贴制作软件推荐
下面给大家推荐几款好用的免费的大头贴制作软件，有需要的小伙伴们来了解一下。美图拍拍是一款功能强大的摄像头自拍软件，兼容所有主流摄像头。它不仅能够轻松实现大头贴的拍摄，还支持视频录制和搞笑QQ表情制作等丰富功能。该软件拥有众多
镇江屋顶漏水维修电话〈免费上门〉镇江屋顶防水补漏师傅
不砸砖、不砸墙;免砸砖防水补漏技术,2小时快速解决漏水问题,超长保修期。漏水维修服务项目:房顶漏水、窗台防水补漏、楼顶漏水、泳池渗水、楼顶裂缝漏水、厨房间漏水、天棚漏水、别墅房顶漏水、地板下暗管漏水、飘窗防水、飘窗渗水、楼顶防
泸县第二人民医院医共体党委书记康健接受纪律审查和监察调查
泸县第二人民医院医共体党委书记康健涉嫌严重违纪违法，目前正接受泸县纪委监委纪律审查和监察调查。 康健简历 康健，男，汉族，1975年7月生，四川泸县人，在职大学学历。1994年8月参加工作，2009年7月加入中国共产党。 1994
阿里巴巴和淘宝有什么区别
阿里巴巴和淘宝有什么区别1、成交客户不同一个是零售平台，一个是批发平台，最大的不同就在于这个客户类型；零售客户是一单单的发货，成交周期短，百分百平台上成交，他可能这辈子只跟你做这一次买卖；批发客户是大批量的采购，成交周期长
百度输入法定制版
百度输入法定制版是一款针对打字设计的输入法软件。这款软件由百度官方出品，为大家带来了超多的输入方式，无论是手写、五笔、拼音、语音还是各个国家的语言都可以满足大家的需求，更有海量的表情包、金句可以随心选，让大家的聊天更加的富
青春绽放 创新无限
近日，由全国高校思想政治工作网、南开大学和中国移动联合主办，咪咕互动娱乐有限公司、南开大学软件学院、中国电子学会智能人机交互专委会承办的动感地带AI+高校创智计划海选赛在智慧与创意的碰撞中落幕，经过三个月的激烈比拼，50支高校
高清美女写真一键生成：探索AI绘画工具的奥秘与玩法
在这个数字化的时代，AI技术的普及使得我们可以轻松生成超逼真的美女写真。想象一下，只需简单的几步操作，你就能得到一张涵盖各类风格和细节的完美人像。这是不是让你心动呢？今天，我们将带你进入AI生成美女写真工具的世界，分析几款热门
