Kaggle / Kaggle/docker-python

Can't install vllm, llama.cpp

Abierto
#1,369 0 comentarios 0 reacciones 0 asignados Ver en GitHub
bug help wanted
Lenguaje dominante
Python
Estrellas
2.7k
Forks
1k
Merge medio
7 d 14 h
PR fusionados (30 d)
2

Descripción

## 🐛 Bug
Recently, CUDA has updated to12. However, I'm encountering errors when attempting to install VLLM and llama.cpp using pip. Could there be an issue with my CUDA installation? For reference, the error messages are:
![image](https://github.com/Kaggle/docker-python/assets/67683748/3d97680d-27be-4c8e-abc9-544bcb4867f9)
![image](https://github.com/Kaggle/docker-python/assets/67683748/603b1cb2-23ee-4677-9095-2796ced933d5)

### To Reproduce

### Expected behavior

### Additional context

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

El issue menciona la instalación mediante pip de vLLM y llama.cpp después de una actualización a CUDA 12, pero no indica archivos del repositorio, pruebas ni pasos reproducibles. Empieza examinando las capturas de pantalla de los errores enlazadas y el entorno CUDA de la imagen; después, reproduce ambas instalaciones. Se considera terminado cuando se haya determinado si la imagen admite estos paquetes y se haya registrado un resultado verificado.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python
Área
ai, devops
Tipo de issue
Error
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Necesita aclaración
Aptitud para principiantes
15/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.