codefuse-ai / codefuse-ai/MFTCoder

mftcoder使用humaneval评估

Abierto
#59 1 comentario 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Python
Estrellas
712
Forks
69
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

你好,想问下mftcoder怎么使用humaneval跑评分,我想先跑下codellama-7b-hf的humaneval评分,然后在它的基础上使用mftcoder微调之后再跑评分,但是不知道怎么写,新手求教程,谢谢

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

El issue menciona MFTCoder, HumanEval y CodeLlama-7B-HF, pero no indica archivos ni un punto de entrada para la evaluación. Empieza localizando el flujo de trabajo de evaluación de HumanEval del repositorio y, a continuación, documenta pasos reproducibles para puntuar el baseline y el modelo ajustado con MFTCoder, incluido el aspecto que tiene una salida correcta.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python
Área
machine-learning
Tipo de issue
Documentación
Dificultad
3/5
Tiempo estimado
1-2 días
Estado de actividad
Estancado
Claridad
Necesita aclaración
Aptitud para principiantes
20/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.