CosmicHorrorDev / CosmicHorrorDev/rust_text_classifier

Revamp posts database

Aperta
#12 1 commento 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
13
Fork
1
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

Right now the posts database is pretty barebones. It would be nice if there was more information stored. Particularly if it stored posts instead of having a separate script so that it could build the corpus used to train (with some sort of manual step for classification still). I think the information that could be helpful to store would be the action done to the post (commented on, or ignored w/ the reasoning), more post information (title, body, author, time, link, id), the predicted classification with accuracy and the actual classification (form manual verification), and finally some metadata on the current classifier being used (so that changes can be tracked specific to the classifier). I think the number of lang vs game posts, oldest post date (or id) and newest post date, and then a hash of the classifier would be enough. This gives a good idea of the posts used in the classifier and allows for distinguishing between different classifiers that were trained on the same corpus.

Overall that gives a lot more to work with and opens the door to having `PostsLoader` load in posts from a database instead of a bunch of different files which I think it an improvement in many regards

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia tracciando PostsLoader e gli script o file attuali che forniscono il suo corpus. Chiarisci lo schema del database per le azioni sui post, i dati dei post, le classificazioni predette e verificate e i metadati del classificatore, quindi definisci come PostsLoader consumerà questi dati e come sarà possibile verificare le statistiche del corpus.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
databases, machine-learning
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.