CosmicHorrorDev / CosmicHorrorDev/rust_text_classifier
Revamp posts database
- Lingua principale
- Python
- Stelle
- 13
- Fork
- 1
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
Right now the posts database is pretty barebones. It would be nice if there was more information stored. Particularly if it stored posts instead of having a separate script so that it could build the corpus used to train (with some sort of manual step for classification still). I think the information that could be helpful to store would be the action done to the post (commented on, or ignored w/ the reasoning), more post information (title, body, author, time, link, id), the predicted classification with accuracy and the actual classification (form manual verification), and finally some metadata on the current classifier being used (so that changes can be tracked specific to the classifier). I think the number of lang vs game posts, oldest post date (or id) and newest post date, and then a hash of the classifier would be enough. This gives a good idea of the posts used in the classifier and allows for distinguishing between different classifiers that were trained on the same corpus.
Overall that gives a lot more to work with and opens the door to having `PostsLoader` load in posts from a database instead of a bunch of different files which I think it an improvement in many regards
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Inizia tracciando PostsLoader e gli script o file attuali che forniscono il suo corpus. Chiarisci lo schema del database per le azioni sui post, i dati dei post, le classificazioni predette e verificate e i metadati del classificatore, quindi definisci come PostsLoader consumerà questi dati e come sarà possibile verificare le statistiche del corpus.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python
- Ambito
- databases, machine-learning
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 25/100