分享好友 最新资讯首页 最新资讯分类 切换频道
获全球顶会NeurIPS、COLT双认可 百度研究院优质论文解读AI技术趋势
2024-11-07 21:37

近日,NeurIPS 2020(Neural Information Processing Systems Annual Meeting,神经信息处理系统年会)落下帷幕,作为人工智能和机器学习领域的国际顶级会议,NeurIPS旨在促进有关神经信息处理系统的研究交流,在同行会议上介绍和讨论新颖的研究。此次大会中,百度研究院参会并发表了多篇高质量论文,论文聚焦大规模稀疏学习的加速求解、新发现物种数量预测、随机非凸优化、高维数据判别分析等问题,分别提出了创新算法及理论,突破原有算法在实际应用中泛化效果差、优化效率低等限制,有效提升AI技术在自然生态学、统计学习理论等领域中的应用价值,同时也彰显出百度在人工智能与机器学习领域的持续技术创新力。

获全球顶会NeurIPS、COLT双认可 百度研究院优质论文解读AI技术趋势

(百度研究院多篇论文入选NeurIPS 2020)

首先,论文《Thunder: a Fast Coordinate Selection Solver for Sparse Learning》就大规模稀疏学习提出新方法。大规模稀疏学习是机器学习中的重要方法之一,但大规模稀疏学习的高效训练却是极具挑战性的问题。虽然人们借助凸目标函数和模型的稀疏性,已经提出很多优化方法来加速求解大规模稀疏学习问题,但当模型的稀疏度比较低或求解精度需求很高时,大多数优化提速方法便会失效,对此,本文提出了一种新颖的方法(Thunder)。

该方法尽可能地避免了在冗余特征上的计算,并可以保证算法选取特征的安全性。目前,已在一系列大数据集上的实验结果证明了方法的有效性。如下图所示,在Finance数据集上,百度提出的新方法比现有最佳方法在效率优化上有巨大的提升。

其次,论文《Optimal Prediction of the Number of Unseen Species with Multiplicity》对自然生态学中新发现物种数量预测做出梳理。论文首先提出了更一般化的版本,即对新样本中出现的未知元素依据数量划分,从而实现更精确细致的稳定预测。再通过信息论下界的构造,证明所提出的算法同时实现了最优时间和样本复杂度。这一新的理论完整复现了此前七十年间的诸多研究成果,并在未知参数领域实现了非平凡的拓展,对自然生态学领域具有重要的现实意义。该工作已被机器学习旗舰会议NeurIPS 2020所接受并遴选为Spotlight报告文章。

论文《Towards Better Generalization of Adaptive Gradient Methods》则对统计学习理论中的重要问题“随机非凸优化”给出新方案。为优化当前流行的动态梯度下降算法的泛化效果,百度提出稳定动态梯度下降算法,将差分隐私与梯度下降相结合,并巧妙利用差分隐私防止过拟合的这个优势来提高算法的泛化性能。该算法已被证明可以减小泛化误差,且具备一定优越性,为随机非凸化问题带去创新性解决方案。

最后,《Ratio Trace Formulation of Wasserstein Discriminant Analysis》一文,则针对高维数据的判别分析给出新算法。百度研究了维数约简(DR)技术Wasserstein判别分析,提出用较少计算成本获得可比或更好的结果的公式。同时从电子结构计算角度分析,将该判别分析技术转化为一个比值迹问题,提出基于特征解算器的判别分析技术判别子空间计算算法,依托于比值迹公式封闭形式的解,一旦正则化的最优输运问题得到解决,就可以通过广义特征值分解得到。百度这一算法平均收敛时间更短,对初始化合参数的敏感性也更低。通过在实际数据集上的数值实验表明,该算法在分类和聚类任务中都有很好的应用前景。

据悉,此次入选NeurIPS 2020的多篇优质论文来自百度研究院西雅图研究院和百度认知计算实验室,上述实验室研究员一直是NIPS/NeurIPS会议的常客,2019年共有6篇论文入选NeurIPS,也曾经获得过NIPS 2014的最佳论文奖;2020年,其在更具难度与深度的顶级机器学习算法和理论会议COLT(Conference on Learning Theory)中发表两篇百度统一单位的论文,论文针对求解稀疏约束优化问题,提出了可以显著降低计算复杂度的算法,为高维数据稀疏学习带来算法与理论的新突破,这也是中国互联网公司罕见的一次在COLT发表论文;另外,值得一提的是在2019年深度学习顶会ICLR上,实验室研究员的理论论文解决了深度神经网络的一个基础问题,也是那年ICLR 2019的最高评分论文之一。

上述研究成果与百度研究院的发展布局紧密相连。今年八月,百度研究院宣布架构新升级,新增生物计算实验室和安全实验室。至此,百度研究院已囊括了从底层基础技术到感知、认知技术的 AI 全领域研究,汇聚数十位 AI 领域的世界级专家,共同推动百度研究院的 AI 基础性研究和前瞻性洞察,助力 AI 技术加速落地。

如今,百度研究院结合自身AI优势,升级新架构,深入展开跨领域合作,取得的基础性研究创新有目共睹;未来,百度研究院还将不断推动百度AI技术的创新发展,夯实其在国际人工智能领域的影响力,促使AI深入行业落地应用,为全球科技发展出一份力。

最新文章
产品人赵帅:揭秘微软小冰从0到1的故事,及其背后的产品逻辑
产品人是人人都是产品经理社区新推出的一个特色栏目。通过对不同行业、不同领域最前线的产品骨干、产品 leader 进行深度采访,为
红薯AI克隆工具:一键克隆,矩阵多开,自动发布!
之前太侠分享了小红书的图文批量生成工具,《小红书图文批量排版生成工具推荐》。今天太侠分享一个小红书AI克隆工具,当属2024年
DIY从入门到放弃:硬盘该选哪种分区?
不管是固态硬盘还是机械硬盘,在安装系统的时候,我们会遇到这样一个选项,硬盘选择MBR还是GPT分区,MBR(主引导记录)与GPT(GU
提升seo自然排名(seo提升排名) (今日更新中)
  提升seo自然排名tjldxdkjyxgs,那家seo好,山东seo排名,网站排名优化哪家好,优化排名选哪家,seo上排名,烟台搜索引擎优化排名,s
8种SEO优化技巧超级蜘蛛查
创作高质量的内容时,要确保信息的原创性与实用性,避免复制粘贴他人内容。在内容中融入适当的关键词,并注重内容的结构和排版,
Airtest-Selenium实操小课:爬取新榜数据
1. 前言 最近看到群里很多小伙伴都在用Airtest-Selenium做一些web自动化的尝试,正好趁此机会,我们也出几个关于web
#### 文案生成器免费版:无需投资即可享受智能服务
在数字时代,内容创作已成为多人的日常工作之一。无论是社交媒体运营、广告文案撰写,还是网络小说创作,高效地产出优质内容都是
再看快速排序(QuickSort)
      快速排序是一个十分伟大的算法,作为再一次的学习,写一写快排以及和快排相关的问题。 1.基本的快速排序方
阿里伴侣配合阿里巴巴打造全方位线上推广
在当今竞争激烈的电商时代,企业的线上推广至关重要。阿里巴巴作为全球知名的电商平台,为众多企业提供了广阔的发展空间。而阿里