anarchy-ai / anarchy-ai/LLM-VM

Custom batch decoding algorithm

Offen
#368 3 Kommentare 0 Reaktionen 1 zugewiesene Person Beansprucht von @bilal-aamer Auf GitHub ansehen
feat/enhancement SWAG
Vorherrschende Sprache
Python
Sterne
490
Forks
139
Keine gemergten PRs in 30 T.

Beschreibung

Implement parallel decoding for any model: https://arxiv.org/abs/2305.10427

Beitragsleitfaden

Beitragsleitfaden öffnen

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.