当前聚焦:Wandb不可缺少的机器学习分析工具
2022-08-08 16:00:17来源:今日头条
(资料图)
wandbwandb全称Weights & Biases,用来帮助我们跟踪机器学习的项目,通过wandb可以记录模型训练过程中指标的变化情况以及超参的设置,还能够将输出的结果进行可视化的比对,帮助我们更好的分析模型在训练过程中的问题,同时我们还可以通过它来进行团队协作
wandb会将训练过程中的参数,上传到服务器上,然后通过登录wandb来进行实时过程模型训练过程中参数和指标的变化
wandb的特点保存模型训练过程中的超参数实时可视化训练过程中指标的变化分析训练过程中系统指标(CPU/GPU的利用率)的变化情况和团队协作开发复现历史结果实验记录的永久保留wandb可以很容易的集成到各个深度学习框架中(Pytorch、Keras、Tensorflow等)wandb的组成模块wandb主要由四大模块组成,分别是:
仪表盘:跟踪实验分析可视化结果报告:保存和分析可复制的实验结果Sweeps:通过调节超参数来优化模型Artifacts:数据集和模型版本化,流水线跟踪wandb账号注册安装wandbpip install wandb注册wandb账号在使用wandb之前,我们需要先注册一个免费账号拷贝API keys在网站上登录wandb,点击Settings
滚动到下面,找到API Keys进行复制
在torch中嵌入wandb这部分我们主要介绍如何在torch中使用wandb,这里我们以训练MNIST为例
导包登录wandbwandb.login(key="填入你的API Keys")定义网络结构定义训练方法定义验证方法训练模型查看训练的结果登录到wandb的网站上查看训练结果查看模型在测试集上Accuracy和loss的变化查看模型的预测效果查看训练过程中系统参数(GPU和CPU等)的变化情况