allenai / allenai/scispacy

Clean up vocab creation

Ouverte
#300 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
code improvement
Langage dominant
Python
Étoiles
2k
Forks
258
Métriques de merge des PR
Aucune PR mergée en 30 j

Description

This script is getting quite a few steps removed from the original corpus now. It might be better to convert this to a script which reads a large corpus and creates the vocabularies directly, rather than us having created this intermediate file with the word/doc counts in it, and then having this one generate a vocabulary file which is not substantially different apart from how it is filtered.

_Originally posted by @DeNeutoy in https://github.com/allenai/scispacy/pull/295#discussion_r558664660_

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Évaluation

Cette issue n'a pas encore été évaluée.

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.