aws / aws/aws-durable-execution-sdk-python

Plugin conformance tests are flaky when CloudWatch logs are not yet visible

Đang mở
#708 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
bug pkg:testing
Ngôn ngữ chính
Python
Star
53
Fork
25
Merge trung bình
1 ngày 20 giờ
Pull request đã merge (30 ngày)
39

Mô tả

## Summary

The `conformance (plugin)` job can fail because expected plugin log records are not returned by CloudWatch, even though the durable execution and history validation complete successfully.

## Evidence

- Previous successful run: `33907972521` at commit `4ce54bcf`.
- Failed run: `33922277509` at commit `676c75a`.
- Attempt 1, job `101185043031`: test `10-11` (`plugin_nested_parent_linkage`) failed because both expected `operation-end` records matched 0 logs: the inner step record and the child-context record.
- Retry attempt 2, job `101188790974`: test `10-11` passed, but unrelated test `10-7` (`plugin_terminal_failure`) failed because its `invocation-start` and `invocation-end` records matched 0 logs.

The failure moving between tests on the same commit strongly suggests CloudWatch ingestion/filter timing or log-stream lookup flakiness rather than a deterministic SDK regression. The diff from the previous successful commit only changes OTel release metadata and does not affect the regular core plugin suite.

## Suggested investigation

- Increase or make configurable the CloudWatch log propagation/polling window in the conformance runner.
- Log the resolved log group, execution ARN filter, event count, and final retrieved records when `ExpectedLogs` fails.
- Pin the conformance runner to a known commit in CI instead of installing `@main`.
- Re-run the plugin suite repeatedly against the same commit to confirm the failure rate.

Relevant workflow: `.github/workflows/conformance-tests.yml`, step `Run conformance suite`.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu với .github/workflows/conformance-tests.yml và bước “Run conformance suite”, sau đó chạy lại plugin suite nhiều lần trên cùng một commit. Điều tra việc truyền bá của CloudWatch hoặc thời gian tra cứu log stream và ghi lại các chẩn đoán được đề xuất về log-group, execution-filter, event-count và retrieved-record; hoàn thành có nghĩa là các conformance tests luôn tìm thấy các bản ghi mong đợi một cách đáng tin cậy.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
aws, python
Lĩnh vực
ci-cd, observability, testing
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Sôi nổi
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
48/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.