aws / aws/aws-durable-execution-sdk-python
Plugin conformance tests are flaky when CloudWatch logs are not yet visible
- Ngôn ngữ chính
- Python
- Star
- 53
- Fork
- 25
- Merge trung bình
- 1 ngày 20 giờ
- Pull request đã merge (30 ngày)
- 39
Mô tả
## Summary
The `conformance (plugin)` job can fail because expected plugin log records are not returned by CloudWatch, even though the durable execution and history validation complete successfully.
## Evidence
- Previous successful run: `33907972521` at commit `4ce54bcf`.
- Failed run: `33922277509` at commit `676c75a`.
- Attempt 1, job `101185043031`: test `10-11` (`plugin_nested_parent_linkage`) failed because both expected `operation-end` records matched 0 logs: the inner step record and the child-context record.
- Retry attempt 2, job `101188790974`: test `10-11` passed, but unrelated test `10-7` (`plugin_terminal_failure`) failed because its `invocation-start` and `invocation-end` records matched 0 logs.
The failure moving between tests on the same commit strongly suggests CloudWatch ingestion/filter timing or log-stream lookup flakiness rather than a deterministic SDK regression. The diff from the previous successful commit only changes OTel release metadata and does not affect the regular core plugin suite.
## Suggested investigation
- Increase or make configurable the CloudWatch log propagation/polling window in the conformance runner.
- Log the resolved log group, execution ARN filter, event count, and final retrieved records when `ExpectedLogs` fails.
- Pin the conformance runner to a known commit in CI instead of installing `@main`.
- Re-run the plugin suite repeatedly against the same commit to confirm the failure rate.
Relevant workflow: `.github/workflows/conformance-tests.yml`, step `Run conformance suite`.
Hướng dẫn đóng góp
Hướng nghiên cứu
Bắt đầu với .github/workflows/conformance-tests.yml và bước “Run conformance suite”, sau đó chạy lại plugin suite nhiều lần trên cùng một commit. Điều tra việc truyền bá của CloudWatch hoặc thời gian tra cứu log stream và ghi lại các chẩn đoán được đề xuất về log-group, execution-filter, event-count và retrieved-record; hoàn thành có nghĩa là các conformance tests luôn tìm thấy các bản ghi mong đợi một cách đáng tin cậy.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- aws, python
- Lĩnh vực
- ci-cd, observability, testing
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Sôi nổi
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 48/100