4paradigm / 4paradigm/AutoX

AutoX_NLP/ nlp_feature.py, OOV问题优化

Offen
#51 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
AutoX_NLP call-for-contributions
Vorherrschende Sprache
Jupyter Notebook
Sterne
551
Forks
143
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

当前Word2Vec和Glove模型无法处理测试数据中未见过的词,需要对测试数据重新进行词表构建,对整体效果影响较大。
代码链接:[https://github.com/4paradigm/AutoX/blob/master/autox/autox_nlp/feature_engineer/nlp_feature.py](url)

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

The issue points to nlp_feature.py in autox/autox_nlp/feature_engineer/. Examine how Word2Vec and GloVe models are built and applied, focusing on vocabulary handling for OOV (out-of-vocabulary) words. Look at the test data pipeline to see where the vocabulary is constructed. The goal is to modify the feature engineering to better handle unseen words, likely by adjusting the vocabulary building or embedding fallback strategy.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
machine-learning, python
Bereich
machine-learning
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
30/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.