CosmicHorrorDev / CosmicHorrorDev/rust_text_classifier

Revamp posts database

Offen
#12 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
13
Forks
1
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Right now the posts database is pretty barebones. It would be nice if there was more information stored. Particularly if it stored posts instead of having a separate script so that it could build the corpus used to train (with some sort of manual step for classification still). I think the information that could be helpful to store would be the action done to the post (commented on, or ignored w/ the reasoning), more post information (title, body, author, time, link, id), the predicted classification with accuracy and the actual classification (form manual verification), and finally some metadata on the current classifier being used (so that changes can be tracked specific to the classifier). I think the number of lang vs game posts, oldest post date (or id) and newest post date, and then a hash of the classifier would be enough. This gives a good idea of the posts used in the classifier and allows for distinguishing between different classifiers that were trained on the same corpus.

Overall that gives a lot more to work with and opens the door to having `PostsLoader` load in posts from a database instead of a bunch of different files which I think it an improvement in many regards

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne damit, PostsLoader und die aktuellen Skripte oder Dateien nachzuverfolgen, die seinen Korpus bereitstellen. Kläre das Datenbankschema für Post-Aktionen, Post-Daten, vorhergesagte und verifizierte Klassifikationen sowie Metadaten des Classifiers, und definiere anschließend, wie PostsLoader diese Daten konsumieren wird und wie Korpusstatistiken überprüft werden können.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
databases, machine-learning
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.