Owner

abetlen

4 indexierte Repositories · Auf GitHub ansehen

ggml-python
Python bindings for ggml

Python · 152 Sterne
sqlite3-bfsvtab-ext
A virtual table extension for breadth-first search queries in Sqlite3

C · 39 Sterne
pikchr-js
The Pikchr markup language for diagrams, running in your browser

C · 8 Sterne
simdinfo
Small C library for SIMD feature detection at runtime

C · 6 Sterne

Offen Alle

Bisher 568 offene Issues indexiert

cuBLAS error 15 Offen

bug

abetlen/llama-cpp-python#941 · 2 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
How can I extract data from documents in JSON Output Format? Offen

question

abetlen/llama-cpp-python#942 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Build/ Installation problem Offen

bug

abetlen/llama-cpp-python#943 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
pip install fails on Windows 10 with conda installation of CLBlast; C++ Standard Library forbids macroizing the keyword "bool" Offen

bug build

abetlen/llama-cpp-python#945 · 4 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Llava/CLIP Models Not Loading Properly Offen

bug

abetlen/llama-cpp-python#946 · 12 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Different gpu buffer behavior using llama-cpp-python[server] vs llama-cpp Offen

bug build

abetlen/llama-cpp-python#948 · 0 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
OpenAI v1 Compatibility in Python API Offen

enhancement

abetlen/llama-cpp-python#950 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Add n_keep parameter to LLama constructor to enable Streaming-LLM Offen

enhancement

abetlen/llama-cpp-python#954 · 1 Kommentar · 4 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Llama-cpp-python installation issues on MacOS with M2 Offen

bug build

abetlen/llama-cpp-python#956 · 5 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
CUDA/Windows instructions do not work; there is no setup.py Offen

bug documentation

abetlen/llama-cpp-python#965 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Local LLM ISSUE GGML_ASSERT Offen

bug

abetlen/llama-cpp-python#966 · 0 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
deepseek chat_format template Offen

enhancement

abetlen/llama-cpp-python#969 · 4 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Getting error OSError: exception: access violation reading 0x000001774F656EC0 Offen

bug

abetlen/llama-cpp-python#970 · 3 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Inference speed on windows server 2022 which has Nvidia RTX A4000 Offen

bug performance

abetlen/llama-cpp-python#973 · 4 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Loading Multiple Models at Once on Seperate Devices, CUDA error 400 Offen

bug

abetlen/llama-cpp-python#974 · 3 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Different embedding results between LlamaCppEmbeddings vs server? Offen

bug

abetlen/llama-cpp-python#975 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
GPU does not work on llamacpp(langchain) , please help. Offen

abetlen/llama-cpp-python#977 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
I want to know how to enable AMD GPU or enable hipBLAS/ROCm on Windows. I tried the official HIP (sdk) and set the relevant environment flags, but it seems to have no effect. BLAS is always at 0. Is there any solution for Windows? Plan? Offen

question

abetlen/llama-cpp-python#978 · 2 Kommentare · 2 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Add additional function calling models Offen

enhancement

abetlen/llama-cpp-python#979 · 4 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
The llama-cpp-python installed using the following method cannot find llama.dll, but the actual llama.dll exists. Offen

bug

abetlen/llama-cpp-python#981 · 9 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
[Question] why i have 40 seconds more for the loading of the model, when i compare with llama-cpp Offen

bug

abetlen/llama-cpp-python#982 · 3 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
max_tokens is None leads to internal server error Offen

bug

abetlen/llama-cpp-python#983 · 4 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
Cuda error 1 Offen

bug

abetlen/llama-cpp-python#984 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Support for a limited vocabulary for generation Offen

question

abetlen/llama-cpp-python#998 · 7 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Mixtral A100/H100 performance Offen

bug performance

abetlen/llama-cpp-python#1017 · 3 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
A different value of n_batch gives different logits (llama.cpp_hf) Offen

bug

abetlen/llama-cpp-python#1018 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Multiple GPU incredibly slow inference Offen

bug

abetlen/llama-cpp-python#1026 · 6 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Include in Readme how to Pass Custom Arguments to `llama_cpp.server` in Docker Offen

documentation question

abetlen/llama-cpp-python#1029 · 6 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
cuBLAS on WSL: "no CUDA-capable device is detected" Offen

bug

abetlen/llama-cpp-python#1030 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
LlamaCPP Usage Offen

question

abetlen/llama-cpp-python#1035 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Last message when streaming completion should not be empty Offen

bug

abetlen/llama-cpp-python#1038 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Investigate / improve streaming speed Offen

bug performance

abetlen/llama-cpp-python#1039 · 1 Kommentar · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
Permission denied when pulling Docker image Offen

abetlen/llama-cpp-python#1040 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
UnsupportedOperation: fileno in Llava15ChatHandler Offen

bug

abetlen/llama-cpp-python#1041 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
OpenAI Compatible server (Function calling), does not support (jxnl/Instructor), because of Unrecognized schema: {'$ref': '#/$defs/Edge'} Offen

bug

abetlen/llama-cpp-python#1043 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
[WinError 87] The parameter is incorrect : {'winmode': 0} after upgrading from 0.2.23 to 0.2.25 Offen

bug

abetlen/llama-cpp-python#1049 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Support Static File Dir/Root Dir in Server Offen

enhancement

abetlen/llama-cpp-python#1060 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Concurrent request handling Offen

question

abetlen/llama-cpp-python#1062 · 6 Kommentare · 3 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
windows 11 install faild Offen

bug build

abetlen/llama-cpp-python#1063 · 6 Kommentare · 6 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
CUDA error: the provided PTX was compiled with an unsupported toolchain Offen

bug

abetlen/llama-cpp-python#1064 · 5 Kommentare · 2 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Support for LLMLingua Offen

enhancement

abetlen/llama-cpp-python#1065 · 3 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
2.27 and below Cannot Build or Install llama_cpp_python on AMD ROCm HIP POP OS 22.04 CMake Build Failed Offen

bug build

abetlen/llama-cpp-python#1066 · 7 Kommentare · 2 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Fails when attempting to load llama.dll during Poetry final bootup. Offen

bug

abetlen/llama-cpp-python#1069 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Support for conversion and quantization scripts from llama.ccp Offen

enhancement

abetlen/llama-cpp-python#1074 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Assertion Error while Loading a Phi2 GGUF Model via llama-cpp-python Offen

bug

abetlen/llama-cpp-python#1076 · 4 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
Issue in installing llama-cpp-python. Offen

bug build

abetlen/llama-cpp-python#1081 · 6 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Performance degradation running with half a socket in CPU system Offen

bug performance

abetlen/llama-cpp-python#1098 · 3 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Problem with importing llama-cpp-python library on Linux CentOS Offen

bug

abetlen/llama-cpp-python#1099 · 2 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
cmake build error: identifier "half" is undefined with version 0.2.29 Offen

bug build

abetlen/llama-cpp-python#1100 · 2 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
Error install on Ubuntu 23.10 (CUDA) Offen

abetlen/llama-cpp-python#1103 · 7 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026

abetlen

Neue Issues direkt in Ihr Postfach