beir evaluation quirks

オープン

#219 2022年12月17日に作成コメント 0 件リアクション 0 件担当者 0 名 GitHub で見る

documentation

説明

**Dataset(s)**

- [beir/arguana](https://ir-datasets.com/beir.html#beir/arguana)
- [beir/quora](https://ir-datasets.com/beir.html#beir/quora) /dev /test

**Describe the proposed change**

This twitter thread points out some evaluation quirks when using these datasets: https://twitter.com/nandan__thakur/status/1603920955679551488

It's worth adding these details to the documentation page. Maybe it's important enough that it should also be logged when you load those datasets?

このリポジトリのコントリビューションガイドは索引されていません

この issue はまだ評価されていません。