github / github/copilot-cli

Rubber duck reviews leave no verifiable record: independence and findings are unauditable after the session

Đang mở
#4,621 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

area:agents area:sessions
Ngôn ngữ chính
Shell
Star
11.2k
Fork
1.9k
Merge trung bình
14 giờ 16 phút
Pull request đã merge (30 ngày)
6

Mô tả

Describe the feature or problem you'd like to solve

Rubber duck reviews leave no verifiable record. The critique, the model that produced it, and what the session did with each finding all die with the session. #4380 and #4432 show why this matters: the independence guarantee (complementary family) can fail silently, and today the only way users can even detect that is by hand-extracting evidence from process logs and events.jsonl. The review's most valuable properties, who reviewed whom and what remained unresolved, are currently unauditable after the fact.

Proposed solution

Persist a small structured record per rubber duck invocation, next to the session or exportable to the repo: orchestrator model and family, reviewer model and family, how the reviewer was selected (complementary, inherited, explicitly overridden, and by whom), a hash of the review prompt, and the findings with their disposition (addressed, dismissed, left open).

Benefits: silent independence failures like #4380 and #4432 become visible in the record instead of requiring log forensics; teams can sample reviews after merge; and what the review left OPEN (unverified assumptions, accepted tradeoffs) survives as provenance instead of dying in the terminal.

Example prompts or workflows
  1. After a rubber duck pass, /rubber-duck export writes the review record to a file the user can commit alongside the change.
  2. A team samples merged PRs weekly and checks the records: which reviews ran cross-family, which findings were dismissed without evidence.
  3. CI warns when a PR's rubber duck record shows reviewer and orchestrator from the same family (the #4380 case, caught at review time instead of never).
  4. An auditor asks "what did the review leave open?" and gets an artifact, not a chat scrollback.
Additional context

Open disclosure: I maintain disensor (https://github.com/NicolasRocchia/disensor, MIT), a provider-neutral CLI and Action that formalizes exactly this record for adversarial review rounds (schema residue/v0.4: reviewer family and declared independence, prompt hash, findings with terminal states, residue declaration, CI gate). The method behind it is documented with data from 91 review events (DOI 10.5281/zenodo.21633495). Happy for any part of the schema to serve as reference or prior art; the point of this request is that the review record should exist, whoever implements it.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Hướng nghiên cứu

Bắt đầu bằng cách truy vết các lần gọi rubber-duck và xem xét các nhật ký quy trình cùng bằng chứng trong events.jsonl được đề cập trong issue. Xác định cách mỗi lần gọi ghi lại các model, lý do lựa chọn, hash của prompt, các phát hiện và các quyết định xử lý, sau đó kiểm tra cách /rubber-duck export sẽ xuất artifact. Được xem là hoàn tất khi bản ghi vẫn tồn tại sau phiên làm việc và hỗ trợ việc kiểm tra tính độc lập cùng các phát hiện chưa được giải quyết.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
shell
Lĩnh vực
cli, observability
Loại issue
Tính năng
Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức độ hoạt động
Sôi nổi
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.