单目标跟踪 评价指标 A R EAO
较为大家熟知的一个单目标跟踪比赛是VOTchallenge(https://www.votchallenge.net/)
其中网站上对于评价指标的说明页面在：https://docs.votchallenge.net/analysis/index.html
但是没有说明具体怎么算EAO，只提到了一篇在2014年发表的一篇文章(https://prints.vicos.si/publications/302/)，里面说明了A和R的计算
EAO的计算是在VOT2015提出的，论文在：https://ieeexplore.ieee.org/document/7406428/references#references
这里面提到了EAO的定义和计算
得到这个消息的博客链接：https://mall.pantsiao.com/entry/78
vot2015还有一个ppt:https://link.zhihu.com/?target=http%3A//data.votchallenge.net/vot2015/presentations/vot_2015_presentation.pdf
一个解释EAO计算方式的博客：https://blog.csdn.net/sinat_27318881/article/details/84350288
一个较为全面的评价指标类型总结的博客：https://blog.csdn.net/qq_42312574/article/details/124137464
vot论文中关于EAO两端的中英文：
vot eao说明论文链接：https://ieeexplore.ieee.org/document/7406428/
^ Ns (1) 的蛮力估计原则上需要在非常大的 Ns 帧长序列集合上运行跟踪器，并且必须针对 Ns 的几个值重复此过程以计算最终性能度量 ^ ( 2）。请注意，这原则上是在 Ns 帧长序列上计算的 OTB [77] 度量。但是由于这种估计器[35]的巨大差异，这将需要非常大的数据集和大量的计算资源来运行许多跟踪器，因为必须对所有 Ns 值重复实验。或者，可以从 VOT 协议的输出估计测量 (2)。由于 VOT 协议在每次故障后重置跟踪器，因此每个序列可能会产生几个跟踪段，并且来自所有序列的段可用于估计 ^ Ns，如下所示。所有短于 Ns 帧且未以失败结束的段都被删除，剩余的段被转换为 Ns 帧长的跟踪输出。片段被修剪或填充为零重叠到大小 Ns。计算每个段的平均重叠，所有段的平均值是 ^ Ns 的估计值。对不同的 Ns 值重复此计算会产生预期平均重叠曲线的估计值。
(2)中典型的短期序列长度[Nlo;Nhi]的范围估计如下。序列长度上的概率密度函数由给定数据集序列长度的核密度估计 (KDE) [34, 33] 计算，并且最典型的序列长度被估计为密度的模式。范围边界被定义为p(Nlo) p(Nhi) 和范围内pdf的积分等于0.5的模式左右最接近的点。因此，该范围捕获了大多数典型的序列长度（参见图 1）。
EAO计算方法：
统计出目标跟踪算法在所有视频中的所有成功跟踪的片段。
比如说一个视频，中间断了一次，成功跟踪的段就是前半段和后半段。
如果一个视频跟踪断了N次，那么就可能有N+1短成功跟踪的段。
这个成功跟踪的段不包含重新恢复定位启动的那几帧视频，一般是认为启动为5帧。
给出一个视频的跟踪结果失败恢复样例：
927.9179626115016,449.138931165997,62.636476242074956,67.6094934824819
941.0347033870122,453.9700467306077,62.63663618033789,67.60931401970043
2
0
0
0
0
1
873.0676272873058,419.42410589472854,44.36336564427186,53.230602832293705
867.8064309223731,415.755641468037,43.36323379272177,53.547294380174456
其中2即是表示这一帧跟踪失败了iou为0，接下来5帧用来恢复，1表示这一帧恢复了，我们从下一帧计算iou。
设整个数据集M个视频，总共成功跟踪的段数有N段。
统计出来大部分的跟踪成功的段的长度，得到一个积分图。
例如下图：
其中找到占50%长度部分的帧的长度段，low和high。
算出所有段中low到high的平均iou即为eao。
VOT是这样算的，因为VOT在跟丢后会重新初始化，这样就把一个视频按失败点可以分成若干段，不用另外初始化了，这样就扩充了视频的个数，节省了计算量，对这些视频的帧数做一个统计，算一个分布图，由于这个是离散的，那么用KDE的方法插值成连续的，然后找到最高点，两边的边界就是同时满足$$P_{lo}=P_{hi}$$,$$\int^{p_{hi}}{pp=0.5$$的离最高点最近的值}