codefuse-ai / codefuse-ai/MFTCoder
mftcoder使用humaneval评估
Offen
- Vorherrschende Sprache
- Python
- Sterne
- 712
- Forks
- 69
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
你好,想问下mftcoder怎么使用humaneval跑评分,我想先跑下codellama-7b-hf的humaneval评分,然后在它的基础上使用mftcoder微调之后再跑评分,但是不知道怎么写,新手求教程,谢谢
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Das Issue nennt MFTCoder, HumanEval und CodeLlama-7B-HF, aber keine Dateien oder keinen Einstiegspunkt für die Evaluation. Beginne damit, den HumanEval-Evaluationsworkflow des Repositorys zu lokalisieren, und dokumentiere anschließend reproduzierbare Schritte zum Bewerten der Baseline und des mit MFTCoder feinabgestimmten Modells, einschließlich einer Beschreibung des erwarteten erfolgreichen Outputs.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- machine-learning
- Issue-Typ
- Dokumentation
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 20/100