分享免费的编程资源和教程

网站首页 > 技术教程 正文

Day79:浅谈 baseline & benchmark & backbone中的理解

goqiw 2024-10-20 07:27:22 技术教程 25 ℃ 0 评论

1.baseline

这个最常见,一般指你要比较的方法,如前人在paper中的方法,你以它为baseline并且明显在某些方面超越它,就所谓的state of the art.

2.benchmark

这个在不同方面代表不同的意思,一般指具体实验的载体

  • 在CV中主要指DataSet,某一类数据集用来实验某一项研究。如当前比较火的Mate-learning中的Omniglot,就是一个多种类,单个种类样本却很少的数据集,专门用来玩few shot learning或者 one shot learning.
  • 或者专门用来做视频的UTF101,moving-mnist,就是视频类文章的benchmark
  • 待完善,

3.backnone

这个词最近比较流行,主要是指某一种基干网络,比如比较主流网络残差resnet,对抗生成gan,然后在基干网络上加东西或者改东西。

4.baseline与benchmark

  • 解释1

一般用benchmark data 做实验,测试A B C D四个模型,然后以结果最差的一个模型,假设是C,作为baseline,看看其他模型相对C提高了多少

  • 解释2

benchmark是一组操作或者数据(比较有普遍性,有说服力),比如一万次数据库的增删改查。比如15年的一个经典算法用这一万次增删改查测试,得到的时间是baseline,那么15年之后的paper提出的新算法,就应该得到更快的时间。

  • 解释3

baseline是当前的现状,benchmark是期望达到的目标。
比如说某个地方当前的教育普及率是50%,这个就是baseline。目标是将教育普及率提高的70%,这个70%就是benchmark。

  • 解释4

baseline主要关注自己提出的方法,比如最原始最简单的方法出来的结果(参照物)。然后再这个基础上改进,增加各种组件,可以看出提升了多少,通过baseline我们可以知道这个方法能不能work,有多少提升。

benchmark主要对比别人的方法,这个方法不一定是最好的,但一定是最有代表性且被广泛认可的(一种标准和规则)。其所用的数据就是 benchmark data ,其方法就是benchmark method,你提出的方法的在benchmark data上得出的结果与benchmark method的结果对比才能知道你的方法是否足够好。

  • 解释5


  • 解释6

benchmark一般是和同行中比较牛的算法比较,比牛算法还好,那你可以考虑发好一点的会议/期刊;
baseline一般是自己算法优化和调参过程中自己和自己比较,目标是越来越好,当性能超过benchmark时,可以发表了,当性能甚至超过SOTA时,恭喜你,考虑投顶会顶刊啦。

————————————————

参考链接:https://www.zhihu.com/question/22529709

参考链接:https://blog.csdn.net/disanda/article/details/103788533

Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表