NVIDIA / NVIDIA/GenerativeAIExamples
Incorrect Validation Warning When Using Multimodal Context With No Other Prompt References
Chưa có ai nhận issue này.
- Ngôn ngữ chính
- Jupyter Notebook
- Star
- 4.2k
- Fork
- 1.1k
- Merge trung bình
- 10 giờ 15 phút
- Pull request đã merge (30 ngày)
- 1
Mô tả
When an image is passed as context using the multi_modal_context parameter and no other column is referenced in the prompt, the validator throws an incorrect warning, PROMPT_WITHOUT_REFERENCES.
See visual-question-answering.ipynb to reproduce the error.
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Hướng nghiên cứu
Bắt đầu với nemo/NeMo-Data-Designer/advanced/multimodal/visual-question-answering-using-vlm.ipynb và chạy ví dụ visual-question-answering để tái hiện cảnh báo PROMPT_WITHOUT_REFERENCES. Truy vết đường dẫn của validator được multi_modal_context sử dụng; hoàn thành khi context chỉ có hình ảnh không còn tạo ra cảnh báo này, trong khi các prompt thực sự không có references vẫn tiếp tục tạo ra cảnh báo đó.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- jupyter-notebook
- Lĩnh vực
- ai
- Loại issue
- Lỗi
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 45/100