How to deal with multiple valid test results

Depending on the version of matplotlib, the way it was installed, the way other dependencies were installed and a bunch of other random factors, the results of our image comparison tests can vary slightly.
Enough to fall way out of the tolerance window, but still being perfectly valid results.

So we have a set of multiple valid baseline images for most of our tests, but don't really have a good way to actually test if any of them matches.

Right now, we are using our own fork of pytest-mpl, which does support testing against multiple baselines: https://github.com/OGGM/pytest-mpl
But maintaining that has been a consistent pain, and it's getting harder the more upstream pytest-mpl evolves.

This must be a general issue not only we have. What is the proper way to deal with it?

Bắt đầu bằng cách đọc hành vi so sánh hình ảnh hiện có của pytest-mpl và fork OGGM/pytest-mpl được liên kết, vốn hỗ trợ nhiều baseline. Làm rõ cách chọn các baseline ứng viên và điều gì được xem là khớp; công việc được coi là hoàn tất khi có một cách tiếp cận được tài liệu hóa, dễ bảo trì, kiểm thử với nhiều hình ảnh hợp lệ mà không phụ thuộc vào fork.