Owner

abetlen

4 indexierte Repositories · Auf GitHub ansehen

ggml-python
Python bindings for ggml

Python · 152 Sterne
sqlite3-bfsvtab-ext
A virtual table extension for breadth-first search queries in Sqlite3

C · 39 Sterne
pikchr-js
The Pikchr markup language for diagrams, running in your browser

C · 8 Sterne
simdinfo
Small C library for SIMD feature detection at runtime

C · 6 Sterne

Offen Alle

Bisher 568 offene Issues indexiert

Installation stuck on windows Offen

abetlen/llama-cpp-python#1703 · 11 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Use Custom GPU Offen

abetlen/llama-cpp-python#1705 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Llama CPP not working on Kaggle How to fix Offen

abetlen/llama-cpp-python#1706 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
igpu Offen

question

abetlen/llama-cpp-python#1709 · 6 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
flash attention on Nvidia Tesla P100s results in the `CUDA error: unspecified launch failure` - (`CUDA kernel flash_attn_tile_ext_f16 has no device code compatible with CUDA arch 520`) Offen

bug build

abetlen/llama-cpp-python#1710 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Allow python packages to contribute to LlamaChatCompletionHandlerRegistry Offen

abetlen/llama-cpp-python#1715 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
How to use this model? Offen

abetlen/llama-cpp-python#1717 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
No matter how many times I build it, it won't start Offen

bug build

abetlen/llama-cpp-python#1719 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
GGML_CUDA_ENABLE_UNIFIED_MEMORY=1　 behavior is strange. Offen

abetlen/llama-cpp-python#1720 · 3 Kommentare · 2 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Why don't use gpu Offen

abetlen/llama-cpp-python#1723 · 2 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
How do I customize the Chat format? Offen

abetlen/llama-cpp-python#1724 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
flux1-dev-Q8_0.gguf Offen

abetlen/llama-cpp-python#1727 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
show how to run inference using minicpm v2.6 Offen

abetlen/llama-cpp-python#1731 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Scores are stored in a 32-bit NumPy array even when K and V are quantized Offen

abetlen/llama-cpp-python#1732 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
phi3 chat format Offen

abetlen/llama-cpp-python#1736 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
LLamaDiskCache: needs a RO / 'static' disk cache for RAG use cases Offen

abetlen/llama-cpp-python#1737 · 0 Kommentare · 2 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
fatal error: intrin.h: No such file or directory Offen

abetlen/llama-cpp-python#1740 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
How get output from fine tuned llama3 model(trained with alpaca format dataset) in a json format ? Offen

abetlen/llama-cpp-python#1744 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
error when I using the Function Call Offen

abetlen/llama-cpp-python#1747 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
CMake Error: CMAKE_CXX_COMPILER not set, after EnableLanguage Offen

abetlen/llama-cpp-python#1749 · 1 Kommentar · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
Change the command to `CMAKE_ARGS="-DGGML_CUDA=on -DLLAVA_BUILD=off" pip install -U llama-cpp-python --force-reinstall --no-cache-dir` solved the problem. Offen

abetlen/llama-cpp-python#1754 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Serverless inferencing, basic chatbot style Offen

abetlen/llama-cpp-python#1755 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
chatml-function-calling chat format fails to generate multi calls to the same tool Offen

abetlen/llama-cpp-python#1756 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Do llama.cpp support input_embeds? Offen

abetlen/llama-cpp-python#1757 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Cannot load moondream2 model in colab Offen

abetlen/llama-cpp-python#1760 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
`Llama.embed` crashes when `n_batch` > 512 Offen

bug

abetlen/llama-cpp-python#1762 · 3 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Feature request: ability to tokenize a list of strings _or_ keep the tokenizer warm Offen

enhancement

abetlen/llama-cpp-python#1763 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
FileNotFoundError: Shared library with base name 'llama' not found Offen

abetlen/llama-cpp-python#1764 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Inference Speed is Extremely Slow for 72B Model with Long Contexts Offen

abetlen/llama-cpp-python#1767 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
[FEAT]: TLS Certificate Support Offen

abetlen/llama-cpp-python#1768 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Missing async llm call Offen

abetlen/llama-cpp-python#1774 · 0 Kommentare · 2 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
_logger.py: KeyError:5 [bugfix] [patch] Offen

abetlen/llama-cpp-python#1778 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
llama-cpp-python not using GPU on google colab Offen

abetlen/llama-cpp-python#1780 · 9 Kommentare · 5 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Why is this not working for the current release. UNABLE TO USE GPU Offen

abetlen/llama-cpp-python#1781 · 1 Kommentar · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
Tool parser cannot analysis tool calls string from qwen2.5. Offen

abetlen/llama-cpp-python#1784 · 2 Kommentare · 3 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Long Context Generation Crashes Google Colab Instance Offen

abetlen/llama-cpp-python#1792 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Add reranking support Offen

abetlen/llama-cpp-python#1794 · 9 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
top_p = 1 causes deterministic outputs Offen

abetlen/llama-cpp-python#1797 · 2 Kommentare · 2 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
`Llama.from_pretrained` should work with `HF_HUB_OFFLINE=1` Offen

abetlen/llama-cpp-python#1801 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
low level examples broken after [feat: Update sampling API for llama.cpp (#1742)] Offen

abetlen/llama-cpp-python#1803 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Setting seed to -1 (random) or using default LLAMA_DEFAULT_SEED generates a deterministic reply chain Offen

abetlen/llama-cpp-python#1809 · 3 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
Add support of Qwen2vl Offen

abetlen/llama-cpp-python#1811 · 4 Kommentare · 17 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
llama_get_logits_ith: invalid logits id -1, reason: no logits Offen

abetlen/llama-cpp-python#1812 · 3 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Specify GPU Selection (e.g., CUDA:0, CUDA:1) Offen

abetlen/llama-cpp-python#1816 · 4 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
AttributeError: function 'llama_sampler_init_tail_free' not found after compiling llama.pcc with hipBLAS Offen

abetlen/llama-cpp-python#1818 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
llama-server not using GPU Offen

abetlen/llama-cpp-python#1826 · 5 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
sys:1: ResourceWarning: unclosed file <_io.TextIOWrapper name='nul' mode='w' encoding='cp932'> Offen

abetlen/llama-cpp-python#1828 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
updated from 0.2.90 to 0.3.2 and now my GPU won't load Offen

abetlen/llama-cpp-python#1835 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Error when building wheels on Linux FileNotFoundError: [Errno 2] No such file or directory: 'ninja'` Offen

abetlen/llama-cpp-python#1839 · 4 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
[INFORMATION REQUEST] Is it possible to build for GPU enabled target on non-GPU host? Offen

abetlen/llama-cpp-python#1841 · 10 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026

abetlen

Neue Issues direkt in Ihr Postfach