getsentry / getsentry/sentry

Flaky test: tests/snuba/api/endpoints/test_organization_events_stats_ourlogs.py::OrganizationEventsStatsOurlogsEndpointTest::test_homepage_query

Open
#108,964 1 comment 0 reactions 0 assignees View on GitHub
flaky-test Tests
Dominant language
Python
Stars
44.8k
Forks
4.9k
Avg merge
21h 10m
Merged PRs (30d)
635

Description

Failing test: `tests/snuba/api/endpoints/test_organization_events_stats_ourlogs.py::OrganizationEventsStatsOurlogsEndpointTest::test_homepage_query`
Sentry sha: 94eda9b7a769c0e3366416f4aaa3606d9428cb1d
Run: https://github.com/getsentry/sentry/actions/runs/22291133157

```
tests/snuba/api/endpoints/test_organization_events_stats_ourlogs.py:99: in test_homepage_query
assert [attrs for time, attrs in response.data["data"]] == [[{"count": 0}]] * 338
E AssertionError: assert [[{'count': 0...nt': 0}], ...] == [[{'count': 0...nt': 0}], ...]
E 
E Left contains one more item: [{'count': 0}]
E 
E Full diff:
E [
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E [
E {
E 'count': 0,
E },
E ],
E + [
E + {
E + 'count': 0,
E + },
E + ],
E ]
```

Contributor guide

Open the contributing guide

Research direction

Start with tests/snuba/api/endpoints/test_organization_events_stats_ourlogs.py::OrganizationEventsStatsOurlogsEndpointTest::test_homepage_query and reproduce the failure from the linked GitHub Actions run. Investigate why response.data["data"] sometimes contains 339 items instead of the expected 338; done means the test is stable with the intended response length.

Written by the indexing model from the issue text.

Assessment

Tech stack
python
Domain
api, backend, testing-qa
Issue type
Bug
Difficulty
3/5
Estimated time
1-2 days
Activity status
Stale
Clarity
Needs clarification
Newbie friendliness
25/100

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.