NVIDIA / NVIDIA/GenerativeAIExamples
Text appears and disappears when POD is launched with models larger than 10B
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 4.2k
- Forks
- 1.1k
- Ø Merge
- 10 Std. 15 Min.
- Gemergte PRs (30 T.)
- 1
Beschreibung
hello.
As the title says, when I use a model over 10B and reference it, the text comes up and then disappears.
I would appreciate your opinion on what could be the cause and how to fix it.
Thank you.
I'm also attaching the triton pod related error.
Received stop request for requestId 7796140 but it's not active (might be completed already).
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Es ist keine Quelldatei, kein Test und kein Einstiegspunkt angegeben. Beginne damit, das Verhalten mit einem Modell über 10B zu reproduzieren und den angehängten Triton-Pod-Fehler zu untersuchen; ermittle dann, warum der generierte Text verschwindet, und überprüfe, dass die Ausgabe nach der Behebung weiterhin sichtbar bleibt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Bereich
- ai, backend
- Issue-Typ
- Bug
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 20/100