allenai / allenai/ir_datasets

TREC 2025 Tip-of-the-Tongue

Đang mở
#291 1 bình luận 0 reaction 0 người được giao Xem trên GitHub
add-dataset
Ngôn ngữ chính
Python
Star
391
Fork
58
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

**Dataset Information:**

This is the new corpus for the upcoming 2025 TREC tip-of-the-tongue shared task.
The corpus is updated and already contains train and dev queries + qrels.

The 2025 test queries are still in preparation, but when we get the corpus into ir-datasets adding the test queries later would likely be easy.

**Links to Resources:**

- Task description and details: https://trec-tot.github.io/
- Data: https://zenodo.org/records/15356599

**Dataset ID(s) & supported entities:**

- trec-tot/2025/train
- trec-tot/2025/dev1
- trec-tot/2025/dev2
- trec-tot/2025/dev3

**Checklist**

Mark each task once completed. All should be checked prior to merging a new dataset.

- [x] Dataset definition (in `ir_datasets/datasets/[topid].py`)
- [x] Tests (in `tests/integration/[topid].py`)
- [ ] Metadata generated (using `ir_datasets generate_metadata` command, should appear in `ir_datasets/etc/metadata.json`)
- [x] Documentation (in `ir_datasets/etc/[topid].yaml`)
- [ ] Documentation generated in https://github.com/seanmacavaney/ir-datasets.com/
- [x] Downloadable content (in `ir_datasets/etc/downloads.json`)

**Additional comments/concerns/ideas/etc.**

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.