aai-institute / aai-institute/nnbench

Add small parameter representation guide for the benchmark runner

Aperta Adatta ai principianti
#141 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
documentation enhancement
Lingua principale
Python
Stelle
21
Fork
4
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

We recently changed the way parameters are injected into the benchmark records. All Python-native types and containers thereof are passing unchanged, but user-defined types are serialized to string (their repr() outputs to be exact), which can be surprising.

Since we do not yet mention this anywhere in the docs, we could set up a small section on this practice, and recommend a way to handle types for best odds of reproducibility (e.g. dumping unique information into the output, or overloading the repr() method to give all unique info).

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Esaminare il codice del benchmark runner che inietta i parametri nei record, probabilmente in un file come runner.py o record.py. Esaminare come vengono serializzati i parametri, concentrandosi sulla gestione dei tipi definiti dall'utente. Consultare la documentazione esistente per individuare dove aggiungere una nuova sezione che spieghi la pratica di serializzazione con repr() e le raccomandazioni per garantire la riproducibilità.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Ambito
documentation
Tipo di issue
Documentazione
Difficoltà
2/5
Tempo stimato
1-3 ore
Stato di attività
Ferma
Chiarezza
Specificata chiaramente
Idoneità per principianti
70/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.