NVIDIA / NVIDIA/GenerativeAIExamples
Incorrect Validation Warning When Using Multimodal Context With No Other Prompt References
Nessuno ha ancora preso questa issue.
- Lingua principale
- Jupyter Notebook
- Stelle
- 4.2k
- Fork
- 1.1k
- Merge medio
- 10h 15m
- PR unite (30g)
- 1
Descrizione
When an image is passed as context using the multi_modal_context parameter and no other column is referenced in the prompt, the validator throws an incorrect warning, PROMPT_WITHOUT_REFERENCES.
See visual-question-answering.ipynb to reproduce the error.
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Inizia da nemo/NeMo-Data-Designer/advanced/multimodal/visual-question-answering-using-vlm.ipynb ed esegui l’esempio di visual-question-answering per riprodurre l’avviso PROMPT_WITHOUT_REFERENCES. Traccia il percorso del validatore utilizzato da multi_modal_context; il lavoro è completato quando un contesto contenente solo un’immagine non produce più questo avviso, mentre i prompt genuini senza riferimenti continuano a produrlo.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- jupyter-notebook
- Ambito
- ai
- Tipo di issue
- Bug
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 45/100