allenai / allenai/natural-instructions
preventing search engine crawlers
Ouverte
enhancement
- Langage dominant
- Python
- Étoiles
- 1k
- Forks
- 197
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Description
We should add headers to the files so that internet crawlers won't crawl our data.
This will prevent future language models from pre-training on this data.
We may want to get some inspiration from Big-bench on this.
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Évaluation
Cette issue n'a pas encore été évaluée.