abetlen / abetlen/llama-cpp-python

arm64 builds for CUDA

Aberta
#1,446 2 comentários 1 reação 0 responsáveis Ver no GitHub
enhancement
Linguagem predominante
Python
Estrelas
10.6k
Forks
1.4k
Métricas de merge de PRs
Métricas de PR pendentes

Descrição

Many are using this library on Nvidia Jetson/Orin devices, but there are no prebuilt wheels available for CUDA arm architectures.

Could support for automated builds of these wheels be added? Thanks!

Guia de contribuição

Abrir o guia de contribuição

Avaliação

Esta issue ainda não foi avaliada.

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.