anthropics / anthropics/claude-code-action

Automatic PR Code Review solutions are vulnerable to model upgrades

Đang mở
#1,566 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
TypeScript
Star
8.9k
Fork
2.1k
Merge trung bình
3 ngày 9 giờ
Pull request đã merge (30 ngày)
10

Mô tả

Our team uses a Claude auto review workflow based largely on the [enhanced example in the solutions guide](https://github.com/anthropics/claude-code-action/blob/main/docs/solutions.md#enhanced-example-with-progress-tracking). When Opus 5 became the default model late last week, we noticed significant degradation in the quality of reviews.

Previously, it was possible to address Claude's feedback over three or fewer iterations, and see a more or less approving review. With the model upgrade, our team was stuck in a seemingly endless loop of iteration, with Claude finding new issues on every pass.

We've found the workflow incredibly valuable overall, and would like for other teams to be able to derive similar value from the out-of-the-box workflow going forward.

In the short term, we pinned our workflow to Opus 4.8, but I could also imagine updating the example prompt to give a clearer scope to Opus 5 and future models.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Start with docs/solutions.md's enhanced example with progress tracking and compare it with the team's Opus 4.8-pinned workflow. Determine how the example should constrain review scope across Opus 5 and future model upgrades, then verify the documented workflow no longer encourages endless iterations.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Lĩnh vực
ci-cd, documentation
Loại issue
Tính năng
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Ít trao đổi
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
48/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.