Owner

abetlen

4 indexierte Repositories · Auf GitHub ansehen

ggml-python
Python bindings for ggml

Python · 152 Sterne
sqlite3-bfsvtab-ext
A virtual table extension for breadth-first search queries in Sqlite3

C · 39 Sterne
pikchr-js
The Pikchr markup language for diagrams, running in your browser

C · 8 Sterne
simdinfo
Small C library for SIMD feature detection at runtime

C · 6 Sterne

Offen Alle

Bisher 568 offene Issues indexiert

Unable to install llama-cpp-python with CUBLAS or CUDA enabled under tensorflow-gpu docker image. Offen

abetlen/llama-cpp-python#1431 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
CUDA Error : CUDA driver version is insufficient for CUDA runtime version Offen

abetlen/llama-cpp-python#1436 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Llama.generate: prefix-match hit is very slow. Offen

abetlen/llama-cpp-python#1437 · 3 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Crashing with "IndexError: index 200 is out of bounds for axis 0 with size 200" Offen

abetlen/llama-cpp-python#1438 · 9 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Models are failing to be properly unloaded and freeing up VRAM Offen

bug

abetlen/llama-cpp-python#1442 · 6 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Add support for llava-1-5-phi3-mini Offen

abetlen/llama-cpp-python#1443 · 5 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
arm64 builds for CUDA Offen

enhancement

abetlen/llama-cpp-python#1446 · 2 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
GPU memory released for llava multimodal Offen

bug

abetlen/llama-cpp-python#1451 · 3 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
"split_mode=2 (row)" not working -- got Aborted Offen

abetlen/llama-cpp-python#1454 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Add support for auto setting n_gpu_layers from gguf and available vram size Offen

enhancement

abetlen/llama-cpp-python#1456 · 0 Kommentare · 4 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
when depoly the llava-cpp-pyton server in k8s as a service , it can only answer questions about the first image Offen

abetlen/llama-cpp-python#1458 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Support PyPI-installed `nvidia-cuda-runtime-cu12` and `nvidia-cublas-cu12` Offen

abetlen/llama-cpp-python#1460 · 0 Kommentare · 4 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
MINGW / MSYS problem Offen

abetlen/llama-cpp-python#1464 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Slow response time and unable for multiple input prompt Offen

abetlen/llama-cpp-python#1466 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
model.tokenize result is different from tranformers tokenizer result Offen

abetlen/llama-cpp-python#1468 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Unexpected output of embed Offen

abetlen/llama-cpp-python#1469 · 4 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
when the output is long , llama_decode returned error Offen

abetlen/llama-cpp-python#1470 · 0 Kommentare · 2 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
CUDA: Generate error message for unsupported quantizations like iq4_nl Offen

abetlen/llama-cpp-python#1473 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Segmentation fault error while launching server on Apple Chip (Mac M3) Offen

abetlen/llama-cpp-python#1474 · 3 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Please add response_format to create_completion Offen

enhancement

abetlen/llama-cpp-python#1478 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
OS package system builds? (Apt, yum, etc) Offen

abetlen/llama-cpp-python#1480 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
install target fails for llava Offen

abetlen/llama-cpp-python#1481 · 10 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Issues with Llava-v1.6-34b and Llava16ChatHandler Offen

abetlen/llama-cpp-python#1482 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
cohere multilanguage aya model seem can not use response_format feature of llama-cpp-python Offen

abetlen/llama-cpp-python#1483 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Unable to make CMake find gcc and use CUDA Windows 11 CUDA tool kit installed 4gb video ram Offen

abetlen/llama-cpp-python#1485 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Can't install llama-cpp-python with HIPBLAS/ROCm on Windows Offen

abetlen/llama-cpp-python#1489 · 8 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Wrong switches: `unreachable-code-break` and `unreachable-code-return`, at least on Termux Offen

abetlen/llama-cpp-python#1494 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Include usage key in create_completion when streaming Offen

enhancement

abetlen/llama-cpp-python#1498 · 2 Kommentare · 4 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Improve pre-built wheel CI times by only building llama.cpp once per platform Offen

enhancement

abetlen/llama-cpp-python#1505 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Multi-arch support for pre-built cpu wheel Offen

enhancement

abetlen/llama-cpp-python#1506 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Getting this Error :RuntimeError: Failed to load shared library '/venv/lib/python3.10/site-packages/llama_cpp/libllama.so': libgomp.so.1: cannot open shared object file: No such file or directory Offen

abetlen/llama-cpp-python#1507 · 3 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
Trying to Install GPU Version - Getting CMake Error With _CMAKE_CUDA_WHOLE_FLAG Offen

abetlen/llama-cpp-python#1508 · 7 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
GPU Utilization zero when evaluating GGUFs through lm-evaluation Offen

abetlen/llama-cpp-python#1510 · 3 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
v0.2.77 seems to crash my computer Offen

abetlen/llama-cpp-python#1511 · 0 Kommentare · 5 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
The compiled libllama.dll could NOT be found. Offen

abetlen/llama-cpp-python#1517 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Do Not Support Qwen2-7B-Instruct-GGUF Offen

abetlen/llama-cpp-python#1521 · 3 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
logprobs aren't returned if sampler will reach EOS Offen

bug

abetlen/llama-cpp-python#1528 · 8 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
how to make multiple inference requests from a single model object Offen

abetlen/llama-cpp-python#1529 · 4 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Tokenisers not round-tripping a string Offen

abetlen/llama-cpp-python#1531 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Support for MiniCPM-Llama3-V 2.5 / OCR Text Extraction Offen

abetlen/llama-cpp-python#1532 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
compiling the llama.cpp bits ONCE for multiple miniconda envs fails (multiple issues) Offen

abetlen/llama-cpp-python#1534 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
llama-cpp-python not using GPU on colab Offen

abetlen/llama-cpp-python#1535 · 6 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Llama3 instruct prompt template missing BOS token Offen

abetlen/llama-cpp-python#1537 · 6 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Cannot build wheel Offen

abetlen/llama-cpp-python#1538 · 5 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
I want to use pandas profiling but this error is thrown by my system Offen

abetlen/llama-cpp-python#1540 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Recurrent errors in server mode Offen

bug

abetlen/llama-cpp-python#1541 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Not Able To Utilize AMD GPU's Offen

bug

abetlen/llama-cpp-python#1545 · 3 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
How to log raw token generation? Offen

enhancement

abetlen/llama-cpp-python#1546 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
[Question]Does llama-cpp-python support concurrent multiple requests Offen

abetlen/llama-cpp-python#1549 · 4 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Hope to add support for GLM4-9b. Offen

abetlen/llama-cpp-python#1554 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026

abetlen

Neue Issues direkt in Ihr Postfach