codefuse-ai / codefuse-ai/MFTCoder
mftcoder使用humaneval评估
Abierto
- Lenguaje dominante
- Python
- Estrellas
- 712
- Forks
- 69
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Descripción
你好,想问下mftcoder怎么使用humaneval跑评分,我想先跑下codellama-7b-hf的humaneval评分,然后在它的基础上使用mftcoder微调之后再跑评分,但是不知道怎么写,新手求教程,谢谢
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
El issue menciona MFTCoder, HumanEval y CodeLlama-7B-HF, pero no indica archivos ni un punto de entrada para la evaluación. Empieza localizando el flujo de trabajo de evaluación de HumanEval del repositorio y, a continuación, documenta pasos reproducibles para puntuar el baseline y el modelo ajustado con MFTCoder, incluido el aspecto que tiene una salida correcta.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- python
- Área
- machine-learning
- Tipo de issue
- Documentación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 20/100