4paradigm / 4paradigm/AutoX

AutoX_NLP/ nlp_feature.py, OOV问题优化

Ouverte
#51 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
AutoX_NLP call-for-contributions
Langage dominant
Jupyter Notebook
Étoiles
551
Forks
143
Métriques de merge des PR
Aucune PR mergée en 30 j

Description

当前Word2Vec和Glove模型无法处理测试数据中未见过的词,需要对测试数据重新进行词表构建,对整体效果影响较大。
代码链接:[https://github.com/4paradigm/AutoX/blob/master/autox/autox_nlp/feature_engineer/nlp_feature.py](url)

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

The issue points to nlp_feature.py in autox/autox_nlp/feature_engineer/. Examine how Word2Vec and GloVe models are built and applied, focusing on vocabulary handling for OOV (out-of-vocabulary) words. Look at the test data pipeline to see where the vocabulary is constructed. The goal is to modify the feature engineering to better handle unseen words, likely by adjusting the vocabulary building or embedding fallback strategy.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
machine-learning, python
Domaine
machine-learning
Type d'issue
Bug
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
30/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.