Propriétaire

abetlen

4 dépôts indexés · Voir sur GitHub

ggml-python
Python bindings for ggml

Python · 152 étoiles
sqlite3-bfsvtab-ext
A virtual table extension for breadth-first search queries in Sqlite3

C · 39 étoiles
pikchr-js
The Pikchr markup language for diagrams, running in your browser

C · 8 étoiles
simdinfo
Small C library for SIMD feature detection at runtime

C · 6 étoiles

Ouverte Toutes

568 issues ouvertes indexées

Unable to install llama-cpp-python with CUBLAS or CUDA enabled under tensorflow-gpu docker image. Ouverte

abetlen/llama-cpp-python#1431 · 1 commentaire · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
CUDA Error : CUDA driver version is insufficient for CUDA runtime version Ouverte

abetlen/llama-cpp-python#1436 · 0 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Llama.generate: prefix-match hit is very slow. Ouverte

abetlen/llama-cpp-python#1437 · 3 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Crashing with "IndexError: index 200 is out of bounds for axis 0 with size 200" Ouverte

abetlen/llama-cpp-python#1438 · 9 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Models are failing to be properly unloaded and freeing up VRAM Ouverte

bug

abetlen/llama-cpp-python#1442 · 6 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Add support for llava-1-5-phi3-mini Ouverte

abetlen/llama-cpp-python#1443 · 5 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
arm64 builds for CUDA Ouverte

enhancement

abetlen/llama-cpp-python#1446 · 2 commentaires · 1 réaction · 0 personnes assignées · Indexée le 13/9/2026
GPU memory released for llava multimodal Ouverte

bug

abetlen/llama-cpp-python#1451 · 3 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
"split_mode=2 (row)" not working -- got Aborted Ouverte

abetlen/llama-cpp-python#1454 · 0 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Add support for auto setting n_gpu_layers from gguf and available vram size Ouverte

enhancement

abetlen/llama-cpp-python#1456 · 0 commentaires · 4 réactions · 0 personnes assignées · Indexée le 13/9/2026
when depoly the llava-cpp-pyton server in k8s as a service , it can only answer questions about the first image Ouverte

abetlen/llama-cpp-python#1458 · 0 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Support PyPI-installed `nvidia-cuda-runtime-cu12` and `nvidia-cublas-cu12` Ouverte

abetlen/llama-cpp-python#1460 · 0 commentaires · 4 réactions · 0 personnes assignées · Indexée le 13/9/2026
MINGW / MSYS problem Ouverte

abetlen/llama-cpp-python#1464 · 0 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Slow response time and unable for multiple input prompt Ouverte

abetlen/llama-cpp-python#1466 · 1 commentaire · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
model.tokenize result is different from tranformers tokenizer result Ouverte

abetlen/llama-cpp-python#1468 · 1 commentaire · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Unexpected output of embed Ouverte

abetlen/llama-cpp-python#1469 · 4 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
when the output is long , llama_decode returned error Ouverte

abetlen/llama-cpp-python#1470 · 0 commentaires · 2 réactions · 0 personnes assignées · Indexée le 13/9/2026
CUDA: Generate error message for unsupported quantizations like iq4_nl Ouverte

abetlen/llama-cpp-python#1473 · 0 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Segmentation fault error while launching server on Apple Chip (Mac M3) Ouverte

abetlen/llama-cpp-python#1474 · 3 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Please add response_format to create_completion Ouverte

enhancement

abetlen/llama-cpp-python#1478 · 0 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
OS package system builds? (Apt, yum, etc) Ouverte

abetlen/llama-cpp-python#1480 · 1 commentaire · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
install target fails for llava Ouverte

abetlen/llama-cpp-python#1481 · 10 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Issues with Llava-v1.6-34b and Llava16ChatHandler Ouverte

abetlen/llama-cpp-python#1482 · 0 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
cohere multilanguage aya model seem can not use response_format feature of llama-cpp-python Ouverte

abetlen/llama-cpp-python#1483 · 2 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Unable to make CMake find gcc and use CUDA Windows 11 CUDA tool kit installed 4gb video ram Ouverte

abetlen/llama-cpp-python#1485 · 2 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Can't install llama-cpp-python with HIPBLAS/ROCm on Windows Ouverte

abetlen/llama-cpp-python#1489 · 8 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Wrong switches: `unreachable-code-break` and `unreachable-code-return`, at least on Termux Ouverte

abetlen/llama-cpp-python#1494 · 0 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Include usage key in create_completion when streaming Ouverte

enhancement

abetlen/llama-cpp-python#1498 · 2 commentaires · 4 réactions · 0 personnes assignées · Indexée le 13/9/2026
Improve pre-built wheel CI times by only building llama.cpp once per platform Ouverte

enhancement

abetlen/llama-cpp-python#1505 · 1 commentaire · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Multi-arch support for pre-built cpu wheel Ouverte

enhancement

abetlen/llama-cpp-python#1506 · 0 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Getting this Error :RuntimeError: Failed to load shared library '/venv/lib/python3.10/site-packages/llama_cpp/libllama.so': libgomp.so.1: cannot open shared object file: No such file or directory Ouverte

abetlen/llama-cpp-python#1507 · 3 commentaires · 1 réaction · 0 personnes assignées · Indexée le 13/9/2026
Trying to Install GPU Version - Getting CMake Error With _CMAKE_CUDA_WHOLE_FLAG Ouverte

abetlen/llama-cpp-python#1508 · 7 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
GPU Utilization zero when evaluating GGUFs through lm-evaluation Ouverte

abetlen/llama-cpp-python#1510 · 3 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
v0.2.77 seems to crash my computer Ouverte

abetlen/llama-cpp-python#1511 · 0 commentaires · 5 réactions · 0 personnes assignées · Indexée le 13/9/2026
The compiled libllama.dll could NOT be found. Ouverte

abetlen/llama-cpp-python#1517 · 1 commentaire · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Do Not Support Qwen2-7B-Instruct-GGUF Ouverte

abetlen/llama-cpp-python#1521 · 3 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
logprobs aren't returned if sampler will reach EOS Ouverte

bug

abetlen/llama-cpp-python#1528 · 8 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
how to make multiple inference requests from a single model object Ouverte

abetlen/llama-cpp-python#1529 · 4 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Tokenisers not round-tripping a string Ouverte

abetlen/llama-cpp-python#1531 · 1 commentaire · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Support for MiniCPM-Llama3-V 2.5 / OCR Text Extraction Ouverte

abetlen/llama-cpp-python#1532 · 1 commentaire · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
compiling the llama.cpp bits ONCE for multiple miniconda envs fails (multiple issues) Ouverte

abetlen/llama-cpp-python#1534 · 0 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
llama-cpp-python not using GPU on colab Ouverte

abetlen/llama-cpp-python#1535 · 6 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Llama3 instruct prompt template missing BOS token Ouverte

abetlen/llama-cpp-python#1537 · 6 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Cannot build wheel Ouverte

abetlen/llama-cpp-python#1538 · 5 commentaires · 1 réaction · 0 personnes assignées · Indexée le 13/9/2026
I want to use pandas profiling but this error is thrown by my system Ouverte

abetlen/llama-cpp-python#1540 · 0 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Recurrent errors in server mode Ouverte

bug

abetlen/llama-cpp-python#1541 · 1 commentaire · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Not Able To Utilize AMD GPU's Ouverte

bug

abetlen/llama-cpp-python#1545 · 3 commentaires · 1 réaction · 0 personnes assignées · Indexée le 13/9/2026
How to log raw token generation? Ouverte

enhancement

abetlen/llama-cpp-python#1546 · 0 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
[Question]Does llama-cpp-python support concurrent multiple requests Ouverte

abetlen/llama-cpp-python#1549 · 4 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026
Hope to add support for GLM4-9b. Ouverte

abetlen/llama-cpp-python#1554 · 0 commentaires · 0 réactions · 0 personnes assignées · Indexée le 13/9/2026

abetlen

Recevez les nouvelles issues par e-mail