Owner

abetlen

4 indexierte Repositories · Auf GitHub ansehen

ggml-python
Python bindings for ggml

Python · 152 Sterne
sqlite3-bfsvtab-ext
A virtual table extension for breadth-first search queries in Sqlite3

C · 39 Sterne
pikchr-js
The Pikchr markup language for diagrams, running in your browser

C · 8 Sterne
simdinfo
Small C library for SIMD feature detection at runtime

C · 6 Sterne

Offen Alle

Bisher 568 offene Issues indexiert

Can't get GPU offloading to work Offen

abetlen/llama-cpp-python#1112 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Back End Grammar support for Web Server (separate from PR #855) Offen

enhancement

abetlen/llama-cpp-python#1113 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Web Server GPU Usage Anomaly Offen

abetlen/llama-cpp-python#1114 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Significant loss of performance from v0.2.28 to v0.2.29 on Mac Metal GPU Offen

abetlen/llama-cpp-python#1117 · 7 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
Smaller docker image CUDA example Offen

question

abetlen/llama-cpp-python#1119 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Post Version 2.25 AMD GPU 6650M Models Generate Garbage Output \n \t or # Characters and fail with finish_reason:length Offen

bug

abetlen/llama-cpp-python#1121 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Using the GPU is slower than the CPU Offen

bug performance

abetlen/llama-cpp-python#1123 · 10 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
ERROR: Failed building wheel for llama-cpp-python Offen

bug build

abetlen/llama-cpp-python#1125 · 9 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
ERROR: Can't install llama-cpp-python[server] WITH CMAKE_ARGS="-DLLAMA_CUBLAS=on" In VERSION 0.2.24 or higher Offen

bug build

abetlen/llama-cpp-python#1126 · 12 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
[Missing documentation/functionality]: choices Offen

abetlen/llama-cpp-python#1130 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
cc: error: unrecognized command-line option ‘-Wunreachable-code-break’; did you mean ‘-Wunreachable-code’? Offen

abetlen/llama-cpp-python#1132 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Intel openAPI (openMKL) CMAKE_ARGS enabled? Offen

bug build

abetlen/llama-cpp-python#1133 · 5 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Unable to disable "clip_model_load" log messages Offen

bug

abetlen/llama-cpp-python#1134 · 5 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
llava.cpp has an error on installation in an private server. Offen

abetlen/llama-cpp-python#1135 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Anyone built with vulkan yet? Offen

question

abetlen/llama-cpp-python#1138 · 15 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Question: How to keep longer conversations without breaking the code? Offen

abetlen/llama-cpp-python#1139 · 3 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
Images can not be decoded when using image_url with webp base64 from LibreChat Offen

bug

abetlen/llama-cpp-python#1140 · 4 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Retrieve attention score for all input tokens per generated token Offen

enhancement question

abetlen/llama-cpp-python#1141 · 11 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
Problem with ChatCompletionMessage when using cuBLAS and Mistral. Offen

bug

abetlen/llama-cpp-python#1144 · 4 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Streaming LlamaCPP in Langserve or FastAPI Offen

abetlen/llama-cpp-python#1148 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Vulkan: Save and load state cause crashes (GGML_ASSERT) Offen

abetlen/llama-cpp-python#1149 · 1 Kommentar · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
could not find llama.dll Offen

abetlen/llama-cpp-python#1150 · 4 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
Add the possibility to pass all the generation parameters to the API of the server Offen

enhancement

abetlen/llama-cpp-python#1151 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Is there support for running multiple requests at the same time? Offen

abetlen/llama-cpp-python#1153 · 1 Kommentar · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
setting n_gpu_layers to 0 or -1 still tries to use the gpu llamaindex Offen

abetlen/llama-cpp-python#1158 · 6 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Have you thought about adding quantum cache or 8 bit cache? Offen

enhancement

abetlen/llama-cpp-python#1161 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Install with SYCL support - Symbols not found: [ _Z11fmax_commonDv32_fS_S_ ] Offen

abetlen/llama-cpp-python#1167 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Docker llama-cpp libcuda.so.1: cannot open shared object file: No such file or directory Offen

abetlen/llama-cpp-python#1169 · 15 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Compatibility with LibreChat: According to Librechat, the server is not serving a OpenAI complaint API for mistral models with llama.cpp chat format `mistral-instruct` Offen

abetlen/llama-cpp-python#1174 · 1 Kommentar · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
Improve installation process Offen

enhancement help wanted

abetlen/llama-cpp-python#1178 · 9 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Capture the stop token upon termination Offen

abetlen/llama-cpp-python#1182 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
I'm loading a gguf but llama-python-cpp says "is it really a GGML file" ??? Offen

abetlen/llama-cpp-python#1191 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
[query] Inputting Json to llama cpp and getting output into txt file ? Offen

abetlen/llama-cpp-python#1192 · 4 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
OpenAI compatible server returns empty chat completion Offen

abetlen/llama-cpp-python#1195 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Inconsistent Output Generation Despite Consistent Log Probabilities Offen

abetlen/llama-cpp-python#1196 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Emojis in grammar causes crash Offen

abetlen/llama-cpp-python#1199 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Bug dependecies conflict Offen

abetlen/llama-cpp-python#1201 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
[Implement Optimization] Skip Inference for Predefined Tokens in Response Formatting Offen

enhancement

abetlen/llama-cpp-python#1203 · 3 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Could not Install llama-cpp-python Offen

abetlen/llama-cpp-python#1216 · 3 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
I cant run Llama() function on GPU Offen

abetlen/llama-cpp-python#1221 · 5 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
llama_cpp.server save chat log Offen

enhancement

abetlen/llama-cpp-python#1224 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
CUDA_ARCHITECTURES is empty for target "llava_shared" when install llama-cpp-python Offen

abetlen/llama-cpp-python#1227 · 3 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Set User Agent for Llava15ChatHandler load_image() Offen

abetlen/llama-cpp-python#1229 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
meteor lake support not functionnal Offen

abetlen/llama-cpp-python#1231 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
ValueError: Model path does not exist Offen

abetlen/llama-cpp-python#1233 · 1 Kommentar · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
PydanticImportError: `pydantic:parse_raw_as` has been removed in V2. Offen

abetlen/llama-cpp-python#1238 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
tensor read out of bounds Offen

abetlen/llama-cpp-python#1241 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Add Self-Extend support? Offen

enhancement

abetlen/llama-cpp-python#1242 · 6 Kommentare · 5 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
verbose doesn't work + writing non-error messages to stderr Offen

abetlen/llama-cpp-python#1245 · 5 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
Allow server to load multiple models at the same time Offen

abetlen/llama-cpp-python#1249 · 0 Kommentare · 23 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026

abetlen

Neue Issues direkt in Ihr Postfach