codefuse-ai / codefuse-ai/MFTCoder

mftcoder使用humaneval评估

Offen
#59 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
712
Forks
69
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

你好,想问下mftcoder怎么使用humaneval跑评分,我想先跑下codellama-7b-hf的humaneval评分,然后在它的基础上使用mftcoder微调之后再跑评分,但是不知道怎么写,新手求教程,谢谢

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Das Issue nennt MFTCoder, HumanEval und CodeLlama-7B-HF, aber keine Dateien oder keinen Einstiegspunkt für die Evaluation. Beginne damit, den HumanEval-Evaluationsworkflow des Repositorys zu lokalisieren, und dokumentiere anschließend reproduzierbare Schritte zum Bewerten der Baseline und des mit MFTCoder feinabgestimmten Modells, einschließlich einer Beschreibung des erwarteten erfolgreichen Outputs.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
machine-learning
Issue-Typ
Dokumentation
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
20/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.