分享好友 最新动态首页 最新动态分类 切换频道
百度飞桨VisualDL全新升级!5大可视化功能助力模型高效调优
2024-11-07 22:56

深度学习模型训练过程盯log头晕眼花?复杂模型结构全靠脑补?网络各层效果无法评估?模型评估指标难以综合权衡?近日,VisualDL 2.0 ——飞桨可视化分析工具全面改版升级,帮众位开发者们从"炼丹萌新"变身"太上老君"。

百度飞桨VisualDL全新升级!5大可视化功能助力模型高效调优

VisualDL是百度飞桨为广大深度学习开发者订制的功能完备的可视化分析工具。它可以帮助深度学习开发者了解训练过程中模型参数的变化趋势、 网络层对数据特征的提取情况、网络结构应该如何调整、精度与召回是否达到了理想的平衡等,从而实现有方向性的错误排查,实现高效的模型调优。

早在2017年VisualDL 1.0就已推出,随着飞桨开源深度学习平台3年深入产业实践的不断打磨,VisualDL本次也完成了2.0版本的全新蜕变!相较VisualDL 1.0,新版本的API设计更加简洁易用、与框架衔接更为顺畅、功能更丰富,界面设计也全面进行了升级,致力为老用户带来全新体验,为新用户带来使用上的惊喜。

VisualDL 2.0能做什么?

当前,VisualDL 2.0共有五大可视化功能。

1、标量(Scalar)

标量可以通过图表的形式展示Loss、Accuracy、Learning Rate等参数指标在训练过程中的变化趋势,帮助开发者了解其是否朝着理想的方向优化,便于发现异常情况,及时排查并修复问题;另外,通过对比多组实验的训练参数,开发者们能深入探究参数对模型效果的影响,加速模型的调优。

实现代码:

2、数据样本分析(Sample)

数据样本分析可以在多种深度学习任务中发挥重要作用。例如在计算机视觉任务中,该功能不仅可以查看每个训练批次中的指定的样本图片,也可以展示图像数据的在训练过程中间阶段的提取特征情况,便于开发者们观察图片数据在训练过程中的状态,进而深入了解训练过程及效果。

实现代码:

在语音识别或合成任务中,数据样本分析功能可以帮助开发者实时获取训练过程中的音频数据,评估语音识别或合成的效果,挑选最优的训练模型。

实现代码:

3、模型结构(Graph)

模型结构功能支持一键可视化模型网络结构。开发者们可查看模型属性、节点信息、节点输入输出等,并支持节点搜索功能,协助开发者们快速分析模型结构并了解数据流向。

当前支持如下两种操作方式:

模型文件拖拽上传

在命令行加入参数--model并指定模型文件路径(非文件夹路径),运行命令后即可启动:

4、直方图(Histogram)

直方图可以展示Tensor(weight、bias、gradient等)数据在训练过程中的变化趋势,深入了解模型各层效果,帮助开发者精准调整模型结构。

实现代码:

5、PR 曲线(PR Curve)

PR曲线可以展示每一分类在不同阈值下的精度(Precision)-召回率(Recall)曲线,帮助开发者权衡模型精度和召回率之间的平衡,设定最佳阈值。精度是指正样本的数量除以所有被选中样本的数量,而召回率是指所有正样本中被推理正确的比例,由此可见精度越高,召回率越高,我们的模型就越好。但是很多情况下,鱼和熊掌不可兼得,无法同时保证精度和召回率都是最高,此时需要通过PR曲线,权衡精度与召回率,确定最佳阈值。

实现代码:

为了便于大家更好的了解VisualDL,我们结合一个简单的实际模型例子来更直观的看下这几个功能,那就是深度学习中的"Hello World",手写数字识别。

VisualDL 2.0怎么用?

假设在一个风和日丽的早晨,作为深度学习爱好者的你,想要建立一个简单的LeNet模型进行手写数字识别,在辛苦完成模型搭建后,进入模型训练时,却看到了如下一幕:

你心里一沉,这精度怎么抖得那么厉害啊。训练中哪里出现问题了呢?到底谁是"凶手"?可是连问题出在哪都不知道,模型优化和修复更是无从下手。这时你想起几日前偶然发现的深度学习可视化分析工具——VisualDL,心中顿时升起希望,因为在训练之前,已经把下面的代码添加到训练脚本中了。

接下来就执行下面的命令来开始奇幻的破案(调优)之旅吧!

执行命令后,即可得到这样一个网址http://localhost:8080/,打开浏览器输入这个网址即可查看究竟发生了什么。首先来看看案发现场。。

点击"标量数据"页签查看模型的Loss和Accuracy整体变化趋势,也就是把刚才的日志信息通过图形直观的展示出来。这部分对应的代码如下所示:

一眼望去,这哪是Loss和Accuracy的变化曲线啊,这明显是心率不齐啊,让人有打120叫救护车的冲动了!

显而易见,Accuracy一直在10%左右徘徊,Loss一直无法下降,由此我们开始逐个查看问题出在哪个环节。首先看看模型结构的实际样子,是否是结构设计出了问题。

点击"网络结构"页签,将保存在"./model"目录下的模型文件拖进页面即可看到模型的结构。

通过观察模型结构、节点属性、模型属性、数据流向,咱们可以直观的发现整体结构是符合预期的,也就是说模型网络本身是清白的,那么是否是模型"吃进"的数据有问题呢?

点击"样本数据"查看训练中的样本数据。这部分对应的代码如下所示:

通过查看每批次数据的第一张图片,发现输入数据也是没有问题的。那么咱们再来"回放录像",看看每一时间步的参数变化情况吧。

点击"直方图"页签,查看训练过程中每一时间步权重和偏差的变化情况,就如同回放整个训练过程的监控录像一样,让训练过程中参数变化不正常的问题无所遁形!这部分对应的代码如下所示:

通过查看后发现,每一层的权重和偏差的变化正常。由此证明不是特定层的初始参数配置出现问题,排除了模型结构、数据样本、每层网络参数配置后,还剩下超参数的配置,因此决定尝试不同的学习率(0.001,0.03,0.05,0.08,0.1),并通过VisualDL的多实验对比功能,来观察学习率对模型训练效果的影响情况。

启动多实验对比功能非常的简单,只需要在训练脚本中参考如下代码实现同一个目录下记录多份不同学习率的训练日志文件,并启动相应训练即可。接着启动VisualDL,就会得到多组实验记录对比图了。

你终于发现了问题所在了,原来是学习率设置的过大了,导致Loss无法下降收敛,根据"标量数据"展示的效果,当学习率为0.001时(深蓝色线条),Loss呈现优美的下降趋势且后续渐渐收敛,Accuracy呈现逐渐上升并趋于平稳,因此你将学习率设置为0.001,使得模型呈现最佳效果。

但是你还不满足于现状,想要选择一个最佳阈值,使得模型的精准度和召回率都达到最优,于是又开始使用"PR曲线"功能。

点击"PR曲线"页签,权衡精确度与召回间的关系,确定最佳阈值。这部分对应的代码如下所示:

以上图为例,该图是手写数字识别任务中类别7对应的PR曲线,从图中可以看出,当阈值为0.10、0.15或0.20时,准确率和召回率同时达到最高值,因此选择上述中的任意阈值,模型都可达到最佳效果。

最终,在VisualDL的帮助下,你确定了模型阈值为0.15,学习率为0.001,至此,一个效果理想的手写数字识别模型搭建完成。

写在最后

看到这里,相信大家已经对VisualDL 2.0有了一个比较全面的了解,也发现它是真的又有用,又好用吧?然而这还不够,飞桨团队还为它增加了诸多软实力:

1、高兼容性:全面支持飞桨、ONNX、Caffe等市面主流模型结构可视化,广泛支持各类用户实现可视化分析。

2、生态支持全面:与飞桨的多个套件、工具组件以及AI学习和实训社区AI Studio全面打通,为开发者们在飞桨生态系统中提供最佳使用体验。

最新文章
云国际代理商
如何在全球市场中通过精准引流成为腾讯云国际代理商的成功者 在全球数字化转型的浪潮中,云计算已经成为企业信息化建设的核心。腾讯云作为中国领先的云计算服务提供商,正在积极扩展国际市场,为全球各地的企业提供高效
鄭欽文奪冠“點燃”成都網球熱情
當地時間8月3日,鄭欽文在巴黎奧運會網球女單決賽中直落兩盤擊敗克羅地亞選手維基奇,拿到中國和亞洲首枚奧運會網球單打金牌,創造了歷史。鄭欽文奪冠后,不僅網球的討論熱度飆升,相關消費與產品的搜索也直線上漲。在某社交平台上,標注“
资本市场助力撬动循环经济,深企格林美“变废为宝”跃升创新优势企业,重金投向研发增强核心竞争力
开栏语:数据显示,深市公司2022年实现营业总收入20万亿元,同比增长7%,近六成公司收入正增长,其中研发投入超6600亿元,同比增长15%,近七成研发资金投向先进制造、数字经济、绿色低碳领域,成为企业保持长期增长的稳定动力。积极投入技
精灵SEO统计,网站优化利器,揭秘搜索引擎排名提升秘籍
精灵SEO统计,一款专为网站优化设计的高效工具,助您快速提升搜索引擎排名,成为网站优化的秘密武器。在互联网时代,搜索引擎优化(SEO)已经成为和不可或缺的一部分,为了帮助广大网站管理者更高效地进行SEO工作,众多SEO工具应运而生,我
推荐三款小说生成工具:一键生成故事与的软件,轻松创作独特作品
在如今这个信息爆炸的时代文学创作不再是少数人的专利。无论是小说家、家还是业余创作者都可借助科技的力量轻松打造出属于本人的独到作品。小说生成工具的出现为广大创作者提供了无限的可能性,只需一键操作,就能生成故事大纲、人物关系甚
ChatGPT中文版网页
ChatGPT中文版网页是一款十分好用的ai聊天软件,在ChatGPT中文版网页中,软件涵盖了多种智能聊天功能,多元化的服务,满足各用户不同需求,用户可以随意提问题,流畅回复,感受智能的对话服务。软件内存很小,不会占用手机太多的内存空间,
开服即被挤爆,AI新拐点来临!
昨日,OpenAI视频生成模型Sora正式版终于发布!此次发布的Sora Turbo,为原始Sora模型的全新高端加速版本,用户不仅可以通过文字提示生成视频,还能将静态图片转化为动态视频,甚至可以对现有视频进行创意改编。作为OpenAI“王炸”产品,So
【经验分享】含多酚多糖植物材料RNA的提取方法
观察与问题笔者在2023年10月至2024年6月跟随师兄对番茄中某转录因子进行研究,研究过程中笔者提取了模式番茄(Solanum lycopersicum)多个生长阶段中各器官RNA超60组。在使用TIANGEN公司RNAprep Pure多糖多酚植物总RNA提取试剂盒(离心柱型
生成式AI新时代:OpenAI、DeepMind与端侧智能的巨变
随着生成式AI技术的不断演进,我们见证了多个重量级产品和平台的重大进展。从OpenAI发布的新模型到DeepMind的视觉语言模型,再到国内端侧智能公司的融资动态,AI领域正迎来一场竞争与创新的热潮。OpenAI的猎户座模型泄露最新消息显示,Open
SEO网站关键词排名优化,提升网站流量与转化率的秘籍解析,揭秘SEO,关键词优化秘籍,助你网站流量与转化率双提升
SEO网站关键词排名优化秘籍解析:通过深入分析关键词策略、优化网站结构和内容质量,有效提升网站在搜索引擎中的排名,从而增加流量和转化率。 *** 包括合理布局关键词、优化页面加载速度、增强用户体验等。掌握这些技巧,助力网站在竞争中
相关文章
推荐文章
发表评论
0评