github / github/copilot-cli

OTel execute_tool bash span does not expose nonzero process exit outcome

Đang mở
#4,864 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

triage
Ngôn ngữ chính
Shell
Star
11.2k
Fork
1.9k
Merge trung bình
14 giờ 16 phút
Pull request đã merge (30 ngày)
6

Mô tả

Describe the observability gap

When the shell tool successfully launches the synthetic command false, the resulting execute_tool bash span has status code 0 and no exit-code, error, result, or outcome attribute. Consumers cannot distinguish exit 0 from a nonzero command outcome in metadata-only telemetry.

This is distinct from a tool invocation failure: reading a guaranteed nonexistent synthetic path correctly produced an execute_tool view span with error status, error.type=failure, and an exception event.

Affected version

GitHub Copilot CLI 1.0.83 on macOS.

Steps to reproduce
  1. Enable metadata-only OTel file export.
  2. Run a synthetic prompt that directs the shell tool to execute exactly false once.
  3. Inspect the execute_tool bash span.

The tool execution output reports completion, while the span contains no metadata representing the subprocess's nonzero exit.

Expected behavior

It is reasonable for the tool invocation itself to be considered operationally successful, but metadata-only telemetry should expose a bounded, content-free command outcome such as process.exit.code=1 and/or a Copilot tool outcome attribute. The span status policy can remain separate from the subprocess exit status.

Privacy

The command is synthetic and harmless. Content capture was disabled; no command output, paths, repository data, or credentials are included.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Hướng nghiên cứu

Bắt đầu bằng cách tái hiện quá trình xuất OTel chỉ gồm metadata bằng công cụ shell, chạy lệnh tổng hợp false, sau đó kiểm tra span execute_tool bash thu được. Hoàn tất khi span hiển thị một kết quả subprocess khác không, có giới hạn và không chứa nội dung, chẳng hạn như process.exit.code=1 hoặc một thuộc tính kết quả công cụ tương đương, mà không thu thập nội dung lệnh.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
bash
Lĩnh vực
observability
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Sôi nổi
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
48/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.