a2ui-project / a2ui-project/a2ui

[FEATURE]: Make the express format perform well with Gemma 2B models

Đang mở
#2,569 1 bình luận 0 reaction 1 người được giao Được @jacobsimionato nhận Xem trên GitHub
P2
Ngôn ngữ chính
TypeScript
Star
16.4k
Fork
1.3k
Merge trung bình
2 ngày 13 giờ
Pull request đã merge (30 ngày)
134

Mô tả

https://github.com/a2ui-project/a2ui/pull/2551 proposes a new "Vertical" inference format which is faster and more accurate, especially on Gemma models.

Vertical performs way better than Express. But, potentially we could update the Express system prompt to be more descriptive, or make the compiler more permissive, or change the format in some way to avoid the types of errors that we see.

Steps
- Use the new eval cases added in https://github.com/a2ui-project/a2ui/pull/2551 and evaluate the same Gemma 2B model with Express format
- Brainstorm different changes we could make to the express prompt or parser, and see if they fix the issues. We can just do small runs, e.g. 5-10 data points to verify this at first. Let's prefer simple tweaks e.g. to the prompt first, before making more radical changes the compiler or format itself.
- Prepare a report on the different approaches that are possible, and how effective they are. They could be implemented as "options" on the express format perhaps. At this point, consider doing larger eval runs with 2-5 runs per data point to build confidence that the fixes work well.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Review the new eval cases from PR #2551. Run the Gemma 2B model with the existing Express format to benchmark performance. Experiment with tweaks to the Express system prompt, then test on 5-10 data points. Document the effectiveness of each approach and consider making them configurable options.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
machine-learning, typescript
Lĩnh vực
ai, tooling
Loại issue
Tính năng
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Sôi nổi
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
45/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.