CosmicHorrorDev / CosmicHorrorDev/rust_text_classifier
Revamp posts database
- Vorherrschende Sprache
- Python
- Sterne
- 13
- Forks
- 1
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
Right now the posts database is pretty barebones. It would be nice if there was more information stored. Particularly if it stored posts instead of having a separate script so that it could build the corpus used to train (with some sort of manual step for classification still). I think the information that could be helpful to store would be the action done to the post (commented on, or ignored w/ the reasoning), more post information (title, body, author, time, link, id), the predicted classification with accuracy and the actual classification (form manual verification), and finally some metadata on the current classifier being used (so that changes can be tracked specific to the classifier). I think the number of lang vs game posts, oldest post date (or id) and newest post date, and then a hash of the classifier would be enough. This gives a good idea of the posts used in the classifier and allows for distinguishing between different classifiers that were trained on the same corpus.
Overall that gives a lot more to work with and opens the door to having `PostsLoader` load in posts from a database instead of a bunch of different files which I think it an improvement in many regards
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne damit, PostsLoader und die aktuellen Skripte oder Dateien nachzuverfolgen, die seinen Korpus bereitstellen. Kläre das Datenbankschema für Post-Aktionen, Post-Daten, vorhergesagte und verifizierte Klassifikationen sowie Metadaten des Classifiers, und definiere anschließend, wie PostsLoader diese Daten konsumieren wird und wie Korpusstatistiken überprüft werden können.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- databases, machine-learning
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100