forrtproject / forrtproject/forrtproject.github.io

JUST-OS ideas

Đang mở
#787 4 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
HTML
Star
42
Fork
33
Merge trung bình
2 ngày 6 giờ
Pull request đã merge (30 ngày)
19

Mô tả

- Make top-k adaptive: over-retrieve, rerank, then apply a relative cutoff (keep within X% of the top score) bounded by a min and max k. - so that targeted questions don't get junk in, and broad questions get sufficient coverage
- Benchmark against a more modern 8B model, given that we don't use the full OpenScholar pipeline (e.g. Gemma 4 E4B, which scores 'highest' on AA Omniscience - i.e. low hallucinations)
- Benchmark against the actual OpenScholar pipeline (generation-feedback-regeneration)
- Curate our own benchmark, with expert-written OS answers (not sure how much of that exists already)

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.