AlibabaResearch / AlibabaResearch/AdvancedLiterateMachinery

VGT evaluation result not matching for DoclayNet.

オープン
#188 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
C++
スター
1.8k
フォーク
195
PR マージ指標
30日以内にマージされた PR はありません

説明

Hi,

Thank you for creating and sharing the Vision Grid Transformer repository.

I am currently trying to evaluate the model on the DocLayNet test dataset in order to replicate the published results (mAP of 83.7). I am using the weights available here: [doclaynet_VGT_model.pth](https://github.com/AlibabaResearch/AdvancedLiterateMachinery/releases/download/v1.3.0-VGT-release/doclaynet_VGT_model.pth).

I executed the evaluation using the following command:

bash
Copy code
python path/to/train_VGT.py --config-file VGT/object_detection/Configs/cascade/doclaynet_VGT_cascade_PTM.yaml --eval-only --num-gpus 1 MODEL.WEIGHTS VGT/downloads/weights/doclaynet_VGT_model.pth OUTPUT_DIR VGT/AdvancedLiterateMachinery/DocumentUnderstanding/VGT/downloads
However, the results I obtained differ from the published ones. Please see the attached matrix for reference:

![image](https://github.com/user-attachments/assets/9b6a9443-62b2-441f-83f8-d3fb6be02a51)

Could you please advise if I might be overlooking something in the evaluation process?

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。