visdoc数据集上效果无法复现

[SkyFishMoon]

您好
在复现过程中我们发现在MMEB V2 Benchmark上，Image和Video相关的任务的性能基本上和论文中一致，但是Visdoc的性能差的比较多，

Models	VDOC-VDRv1	VDOC-VDRv2	VDOC-VR	VDOC-OOD	VDOC-Overall
Reported	72.4	46.2	79.2	37.2	63.9
Recreated	61.2	46.3	69.1	41.2	54.5

我看到MMEB的repo中也有人提类似的问题：TIGER-AI-Lab/VLM2Vec#149
TIGER-AI-Lab/VLM2Vec#194
可能是数据集的问题，请问能否共享一下你们使用的visdoc测试集

[Nonoor]

您好，

感谢您的反馈。

我们这边使用的 VisDoc 测试数据来自 TIGER-Lab/MMEB-V2 benchmark 仓库。我们重新拉取了该 benchmark 的最新版本后，在 VisDoc-VDRv1 重新进行了测试，得到的结果是 72.09，与论文中报告的 72.4 基本一致。

各个子数据集的结果具体如下：

Subset	Score
ViDoRe_arxivqa	73.86
ViDoRe_docvqa	38.06
ViDoRe_infovqa	77.57
ViDoRe_tabfquad	85.86
ViDoRe_tatdqa	39.92
ViDoRe_shiftproject	67.35
ViDoRe_syntheticDocQA_artificial_intelligence	83.21
ViDoRe_syntheticDocQA_energy	82.22
ViDoRe_syntheticDocQA_government_reports	81.22
ViDoRe_syntheticDocQA_healthcare_industry	91.66

您可以对照一下这些子集的结果，看看是否有某个子集与您的复现结果存在明显偏差，这样可能更容易定位问题。

感谢您的关注！