Question: Feasibility of using more modern small language models

Offen

#4 erstellt am 23.8.2026 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 5/5
Geschätzter Aufwand: Über eine Woche
Anfängerfreundlichkeit: 25/100

Issue-Typ: Feature
Klarheit: Muss geklärt werden
Aktivitätsstatus: Aktiv
Tech-Stack: python
Bereich: ai, machine-learning

Rechercherichtung

The issue names no files, tests, or entry points. Start by reviewing the repository's compilation and runtime entry points, then determine whether model selection, Cactus runtime support, server-side compilation, or RAG integration is in scope and what concrete outcome would define completion.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Hi I saw the reddit blog post on claudish and thought this is a very interesting thing. I was thinking if using a newer model like LFM2.5-230M or LFM2.5-350M might help to drastically improve the model's capabilities? I understand that changing models would require recompilation of the .paw file. I also saw some things about Cactus' runtime being made for edge and browser use, not sure if its is a promising alternative to what is used now. Also I would like to know more about the compilation process on the server as I dont think the source is published? It would help with experimentation greatly. Im also thinking about the possibility to use this as part of a RAG? What do you think? Thank you, just wanted to share some thoughts I had on this.

Vorherrschende Sprache: Python
Sterne: 332
Forks: 31
Ø Merge: 2 T. 3 Std.
Gemergte PRs (30 T.): 1

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus programasweights/programasweights-python

Compile fails for all novel specs: health reports gpu_services:{}, finetune worker gets 500 from compiler on loopback Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100

programasweights/programasweights-python#5 · 1 Kommentar · Erstellt am 25.8.2026

Alle Issues in programasweights/programasweights-python