NVIDIA / NVIDIA/GenerativeAIExamples
Incorrect Validation Warning When Using Multimodal Context With No Other Prompt References
オープン
まだ誰も着手していません。
- 主要言語
- Jupyter Notebook
- スター
- 4.2k
- フォーク
- 1.1k
- 平均マージ
- 10時間 15分
- マージ済み PR（30日）
- 1
説明
When an image is passed as context using the multi_modal_context parameter and no other column is referenced in the prompt, the validator throws an incorrect warning, PROMPT_WITHOUT_REFERENCES.
See visual-question-answering.ipynb to reproduce the error.
コントリビューションガイド
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
調査の方向性
nemo/NeMo-Data-Designer/advanced/multimodal/visual-question-answering-using-vlm.ipynb から始め、visual-question-answering の例を実行して PROMPT_WITHOUT_REFERENCES 警告を再現します。multi_modal_context で使用されるバリデーターの経路を追跡します。画像のみのコンテキストでこの警告が発生しなくなり、一方で参照を含まない本物のプロンプトでは引き続き発生すれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- jupyter-notebook
- 領域
- ai
- issue の種類
- バグ
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 45/100