huggingface / huggingface/diffusers
Remove link to HEIM for diffusion model evaluation
Nadie ha tomado este issue todavía.
- Lenguaje dominante
- Python
- Estrellas
- 34.5k
- Forks
- 7.3k
- Merge medio
- 3 d 3 h
- PR fusionados (30 d)
- 91
Descripción
The doc page https://huggingface.co/docs/diffusers/conceptual/evaluation currently suggests using HEIM for diffusion model evaluation.
Unfortunately, HEIM is no longer officially supported or actively maintained (see stanford-crfm/helm#2161, stanford-crfm/helm#3741) and is currently not in a state that would function properly off the shelf.
From my experience, it is currently quite the pain to get some version of HEIM to somewhat function (it did involve some major manual rewrites and tons of dependency conflicts), and still I ran into trouble even reproducing the standard leaderboards.
I would hence recommend to remove HEIM from the list of suggested evaluation frameworks.
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Línea de trabajo
Abre la documentación de evaluación de Diffusers en docs/diffusers/conceptual/evaluation y localiza la recomendación de HEIM. Elimina el enlace a HEIM y su sugerencia de la lista; después, comprueba la página renderizada para confirmar que el resto de las indicaciones y los enlaces de evaluación siguen intactos.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Área
- documentation
- Tipo de issue
- Documentación
- Dificultad
- 1/5
- Tiempo estimado
- Menos de una hora
- Estado de actividad
- Tranquilo
- Claridad
- Bien especificado
- Aptitud para principiantes
- 90/100