NVIDIA / NVIDIA/GenerativeAIExamples
Incorrect Validation Warning When Using Multimodal Context With No Other Prompt References
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 4.2k
- Forks
- 1.1k
- Ø Merge
- 10 Std. 15 Min.
- Gemergte PRs (30 T.)
- 1
Beschreibung
When an image is passed as context using the multi_modal_context parameter and no other column is referenced in the prompt, the validator throws an incorrect warning, PROMPT_WITHOUT_REFERENCES.
See visual-question-answering.ipynb to reproduce the error.
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Beginnen Sie mit nemo/NeMo-Data-Designer/advanced/multimodal/visual-question-answering-using-vlm.ipynb und führen Sie das Beispiel zur visuellen Fragebeantwortung aus, um die Warnung PROMPT_WITHOUT_REFERENCES zu reproduzieren. Verfolgen Sie den vom multi_modal_context verwendeten Validierungspfad; die Aufgabe ist abgeschlossen, wenn ein ausschließlich aus einem Bild bestehender Kontext diese Warnung nicht mehr erzeugt, während echte Prompts ohne Referenzen dies weiterhin tun.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- jupyter-notebook
- Bereich
- ai
- Issue-Typ
- Bug
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 45/100