Assessment Pipeline: Add audio/video support
@vprashrex đang làm issue này rồi.
Từ ngày 4/9/2026.
Đánh giá
Issue này chưa được đánh giá.
Mô tả
Is your feature request related to a problem?
The AI Assessments pipeline currently lacks support for audio and video modalities. This limits the assessment's effectiveness and prevents a comprehensive analysis of inputs.
Describe the solution you'd like
- Extend multimodal support to include audio/video in AI Assessments.
- Experiment with Gemini for video handling and explore methods with OpenAI/Anthropic.
- Sample an audio/video dataset from partners, run the pipeline, conduct human evaluations, and iterate.
- Support a language mix of ~50–60% English, ~10–15% Tamil, and a strong presence of South Indian languages like Telugu.
Original issue
Context
Extend multimodal support to include audio/video in AI Assessments.
Investigation
- Video: Gemini does appear to support video directly. Experiments to be done to figure out reasonable way of handling video in Open AI / Anthropic (sampling frames + full audio transcript ?)
Approach / acceptance criteria
- Sample audio/video dataset from partners, run pipeline, run human evals, iterate. Building the tech is easy; evaluation is the bottleneck.
- Language mix to support: ~50–60%+ English, Tamil ~10–15%, strong South Indian language presence, Telugu
- Ngôn ngữ chính
- Python
- Star
- 18
- Fork
- 10
- Merge trung bình
- 2 ngày 20 giờ
- Pull request đã merge (30 ngày)
- 14
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của ProjectTech4DevAI/kaapi-backend
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
-
enhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
ProjectTech4DevAI/kaapi-backend#269 · 1 bình luận ·
-
ProjectTech4DevAI/kaapi-backend#1183 · 1 người được giao ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
ProjectTech4DevAI/kaapi-backend#1182 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 68/100
ProjectTech4DevAI/kaapi-backend#1181 ·
Tất cả issue của ProjectTech4DevAI/kaapi-backend
Issue tương tự
-
area/auth bug comp/agent P3 platform/discord type/security
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
NousResearch/hermes-agent#117848 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
bancolombia/sentinel#23 ·
-
test md Đang mởCI
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
-
integration:quickjs org:external priority:backlog topic:code-interpreter topic:middleware type:feature
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
langchain-ai/deepagents#6450 ·
-
bug client
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100