ggml-org/llama.cpp

Ver en GitHub

LLM inference in C/C++

Estrellas: 129k
Forks: 23.5k
Issues abiertos para principiantes: 40
Issues indexados: 944
Merge medio: 2 d 10 h
PR fusionados (30 d): 409

Lenguaje dominante: C++
Licencia: MIT
Último push a GitHub: 20/9/2026
Última indexación: 16/9/2026
Guía de contribución: Guía de contribución
Código de conducta: Sin código de conducta
Etiquetas para principiantes: help wanted good first issue

Para principiantes Todo

Abierto Todos

897 issues abiertos indexados

Eval bug: SIGSEGV in token-counting routes when the request arrives while the server is sleeping (stale vocab/mctx captured before the wake barrier) Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100

ggml-org/llama.cpp#29188 · Abierto el 20/9/2026
[SYCL] DeltaNet kernel produces token soup on long prompts (Qwen3.6, Qwen3.8, Nemotron) Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

ggml-org/llama.cpp#29183 · Abierto el 20/9/2026
Misc. bug: pyproject.toml: uv sync fails on macOS due to unconditional PyTorch CPU index Abierto

bug-unconfirmed

Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100

ggml-org/llama.cpp#29176 · Abierto el 20/9/2026
llama-server: one prefill chunk blocks decode for all sequences — co-tenant stalls = ceil(prompt/n_batch), so `-b = n_parallel x -ub` maximises them Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 38/100

ggml-org/llama.cpp#29175 · Abierto el 20/9/2026
Eval bug: Qwen3.8-Flash-Next MTP draft GGUFs fail to load on b11058 (tensor not found) — no MTP path on Pascal Abierto

bug-unconfirmed

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

ggml-org/llama.cpp#29174 · 1 comentario · Abierto el 20/9/2026
Eval bug: CUDA decode+prefill collapse at deep KV position on qwen35 hybrid (~5.5x tg, ~21x pp at d154855) Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

ggml-org/llama.cpp#29172 · Abierto el 20/9/2026
Eval bug: CUDA MoE weighted-reduction fusion (#25952) breaks speculative-decoding exactness — MTP draft acceptance 0.82 → 0.48 and MTP becomes a net slowdown (bisected to b10751) Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 50/100

ggml-org/llama.cpp#29168 · Abierto el 20/9/2026
[SYCL] Gated DeltaNet produces token soup on long prompts (greedy fails, dense models fine to 131K+) Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

ggml-org/llama.cpp#29167 · 1 comentario · Abierto el 20/9/2026
Misc. bug: Model loads into mobile GPU CUDA0, but inference happens on iGPU Abierto

bug-unconfirmed

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

ggml-org/llama.cpp#29164 · 2 comentarios · Abierto el 19/9/2026
Misc. bug: interrupted connection trashes KV cache Abierto

bug-unconfirmed

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

ggml-org/llama.cpp#29163 · Abierto el 19/9/2026
/v1/responses: reasoning item with "summary": null rejected as "Cannot determine type of 'item'" Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100

ggml-org/llama.cpp#29159 · 1 comentario · Abierto el 19/9/2026
Eval bug: ubatch size leads to freezing of GPU+eGPU setup Abierto

bug-unconfirmed

Dificultad 4/5 3-5 días Aptitud para principiantes 38/100

ggml-org/llama.cpp#29154 · Abierto el 19/9/2026
Eval bug: qwen4exp (Qwen3.8-Flash-Next) livelocks during model load on HIP; identical config loads on Vulkan Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

ggml-org/llama.cpp#29149 · Abierto el 19/9/2026
Eval bug: Qwen 3.8 Flash Next MTP fails to load Abierto

bug-unconfirmed

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

ggml-org/llama.cpp#29148 · 1 comentario · Abierto el 19/9/2026
Qwen 3.5 MTP fails to load compact draft vocabularies (missing d2t mapping support) Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 15/100

ggml-org/llama.cpp#29145 · Abierto el 19/9/2026
Eval bug: hardcoded 32GB VMM pool reservation (cuMemAddressReserve) fails on Jetson Orin iGPU — all multimodal image requests crash Abierto

bug-unconfirmed

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

ggml-org/llama.cpp#29142 · 1 comentario · Abierto el 19/9/2026
Misc. bug: ggml-rpc-server crashes on vulkan when a duplicate copy of libggml-vulkan is dlopened Abierto

bug-unconfirmed

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

ggml-org/llama.cpp#29138 · Abierto el 19/9/2026
Misc. bug: RISC-V RVV IQ4_NL/MXFP4 dot product errors with an odd number of blocks due to missing tail handling Abierto

bug-unconfirmed

Dificultad 4/5 3-5 días Aptitud para principiantes 62/100

ggml-org/llama.cpp#29131 · Abierto el 19/9/2026
Feature Request: Slow prompt processing when MoE experts are read from disk via mmap - an optimization using O_DIRECT Abierto

enhancement

Dificultad 4/5 3-5 días Aptitud para principiantes 52/100

ggml-org/llama.cpp#29130 · 2 comentarios · Abierto el 19/9/2026
Feature Request: Video with audio support Abierto

enhancement

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

ggml-org/llama.cpp#29129 · Abierto el 19/9/2026
Misc. bug: LoRA loader accepts a MoE expert-count mismatch, causing an OOB write in CPU MUL_MAT_ID Abierto

bug-unconfirmed

Dificultad 4/5 3-5 días Aptitud para principiantes 68/100

ggml-org/llama.cpp#29128 · Abierto el 19/9/2026
Eval bug: can not run models Abierto

bug-unconfirmed

Dificultad 4/5 3-5 días Aptitud para principiantes 30/100

ggml-org/llama.cpp#29119 · 1 comentario · 1 reacción · Abierto el 19/9/2026
Misc. bug: /props publishes the randomized media_marker, defeating PR #21962's collision defense Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

ggml-org/llama.cpp#29118 · Abierto el 19/9/2026
Eval bug: server silently stops processing when /metrics endpoint is scraped by VictoriaMetrics Abierto

bug-unconfirmed

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

ggml-org/llama.cpp#29104 · 1 comentario · Abierto el 18/9/2026
Misc. bug: Two llama-server processes on the same RX 6800 cause 100% GPU when HIP graphs enabled Abierto

bug-unconfirmed

Dificultad 4/5 3-5 días Aptitud para principiantes 50/100

ggml-org/llama.cpp#29098 · Abierto el 18/9/2026
Eval bug: Vulkan qwen4exp Image Multimodality Seems Broken Abierto

bug-unconfirmed

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

ggml-org/llama.cpp#29093 · 1 comentario · Abierto el 18/9/2026
HIP/ROCm — fused Gated Delta Net op carries recurrent state across requests on a reused server slot (qwen35 / qwen35moe); earlier prompts' text is emitted verbatim in later completions Abierto

bug-unconfirmed

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

ggml-org/llama.cpp#29092 · 7 comentarios · Abierto el 18/9/2026
Misc. bug: [llama-server] /v1/models metadata serializes "vocab_type" as boolean true instead of integer enum Abierto

bug-unconfirmed

Dificultad 3/5 1-2 días Aptitud para principiantes 68/100

ggml-org/llama.cpp#29091 · 4 comentarios · Abierto el 18/9/2026
Eval bug: init_batch: failed to prepare attention ubatches with --kv-unified on serveur Abierto

bug-unconfirmed

Dificultad 4/5 3-5 días Aptitud para principiantes 42/100

ggml-org/llama.cpp#29090 · Abierto el 18/9/2026
Misc. bug: [convert_hf_to_gguf] KeyError: 'speaker_encoder_config' when converting Qwen3-TTS CustomVoice variant Abierto

bug-unconfirmed

Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100

ggml-org/llama.cpp#29088 · Abierto el 18/9/2026
Eval bug: OpenVINO backend fails with "unable to create context" when KV cache exceeds CL_DEVICE_MAX_MEM_ALLOC_SIZE Abierto

bug-unconfirmed

Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100

ggml-org/llama.cpp#29087 · Abierto el 18/9/2026
Eval bug: [Vulkan] GGML_ABORT cache_k_l0 in Vulkan buffer on SWA models — regression 2.40/2.41 vs 2.39 Abierto

bug-unconfirmed

Dificultad 4/5 3-5 días Aptitud para principiantes 55/100

ggml-org/llama.cpp#29082 · 1 comentario · Abierto el 18/9/2026
Eval bug: [OpenCL] MUL_MAT produces wrong results on Adreno 730 (x8_gqa_r4_img) Abierto

bug-unconfirmed

Dificultad 4/5 3-5 días Aptitud para principiantes 62/100

ggml-org/llama.cpp#29081 · Abierto el 18/9/2026
convert_hf_to_gguf.py: very large models need either the full model in RAM or 2x its size on disk (streaming two-pass mode?) Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 48/100

ggml-org/llama.cpp#29078 · 3 comentarios · Abierto el 18/9/2026
Feature Request: Passing environment variables to child processes in router mode Abierto

enhancement

Dificultad 4/5 3-5 días Aptitud para principiantes 52/100

ggml-org/llama.cpp#29073 · 1 comentario · Abierto el 18/9/2026
Eval bug: VRAM usage increased from b10680 (SYCL backend) Abierto

bug-unconfirmed

Dificultad 4/5 3-5 días Aptitud para principiantes 52/100

ggml-org/llama.cpp#29063 · 3 comentarios · 1 reacción · Abierto el 18/9/2026
Feature Request: Edge0 support and also direct safetensors Abierto

enhancement

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

ggml-org/llama.cpp#29061 · Abierto el 18/9/2026
Feature Request: Support Prism PQ2_0 (GGML type 142) and PTQ1_0 (type 143) used by Ternary-Bonsai-2 Abierto

enhancement

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

ggml-org/llama.cpp#29058 · 3 comentarios · 17 reacciones · Abierto el 18/9/2026
Vulkan: deterministic GPU hang + SIGABRT on Intel Gen9.5 iGPU (UHD 630) with q8_0 KV cache — vk::Error escapes as std::terminate Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

ggml-org/llama.cpp#29054 · 1 comentario · Abierto el 17/9/2026
Feature Request: Include preferred citation in the readme Abierto

enhancement

Dificultad 1/5 Menos de una hora Aptitud para principiantes 85/100

ggml-org/llama.cpp#29049 · 1 comentario · Abierto el 17/9/2026
Feature Request: Make HIP and CUDA crash compilation Abierto

enhancement

Dificultad 3/5 1-2 días Aptitud para principiantes 58/100

ggml-org/llama.cpp#29048 · Abierto el 17/9/2026
iSWA: seq_pos_max answers from the sliding cache, so a batch without positions lands at 0 after a partial seq_rm and leaks base-cache cells Abierto

bug-unconfirmed

Dificultad 4/5 3-5 días Aptitud para principiantes 52/100

ggml-org/llama.cpp#29045 · 2 comentarios · Abierto el 17/9/2026
Eval bug: draft-mtp draft model fails to load with -ngl (vector::_M_range_check 1 >= 1); explicit -ts fixes it — likely NaN split when device reports 0 free Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 68/100

ggml-org/llama.cpp#29044 · Abierto el 17/9/2026
Misc. bug: Vulkan flash_attn.comp writes past the end of Qf in the quantized (MMQ) path Abierto

bug-unconfirmed

Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100

ggml-org/llama.cpp#29039 · Abierto el 17/9/2026
Misc. bug: UI Bug. Сhat message box grows above the top of the window on the empty chat screen (regression in b10824) Abierto

bug-unconfirmed

Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100

ggml-org/llama.cpp#29023 · Abierto el 17/9/2026
Feature Request: Fast Tool Gating & Single-Pass Selection via Prefill Logit Slicing Abierto

enhancement

Dificultad 5/5 Más de una semana Aptitud para principiantes 28/100

ggml-org/llama.cpp#29022 · 4 comentarios · 2 reacciones · Abierto el 17/9/2026
Eval bug: Gemma 4 E4B hangs during model loading with Vulkan GPU offload Abierto

bug-unconfirmed

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

ggml-org/llama.cpp#29021 · Abierto el 17/9/2026
Misc. bug: Significant generation throughput drop when `presence_penalty > 0` with MTP enabled Abierto

bug-unconfirmed

Dificultad 4/5 3-5 días Aptitud para principiantes 52/100

ggml-org/llama.cpp#29017 · Abierto el 17/9/2026
Feature Request: MoE Browser Experts Abierto

enhancement

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

ggml-org/llama.cpp#29011 · Abierto el 17/9/2026
GLM-5.3 (glm_moe_dsa) emits repeated '@' tokens instead of a response on CPU (ngl=0) Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

ggml-org/llama.cpp#29010 · Abierto el 17/9/2026

ggml-org/llama.cpp

Recibe los nuevos issues en tu correo