bug(datepicker): Date range picker incorrectly has matStartDateInvalid error after modification

#### Reproduction

Use StackBlitz to reproduce your issue: https://stackblitz.com/edit/angular-uotl3m-yzo7qt

Steps to reproduce:
1. Pick a date range in date picker.
2. Modify the start date using the input with a date after the end date
3. Modify the end date using the input with a date after the start date

#### Expected Behavior

The FormGroup is valid and not error message is show.

#### Actual Behavior

What behavior did you actually see?

The error message "Invalid start date" is show.

**If you change the version of material from "^11.0.0" to "11.0.0" there is no problemr**

#### Environment

- Angular: "^11.0.0
- CDK/Material: "^11.0.0
- Browser(s): Chrome
- Operating System (e.g. Windows, macOS, Ubuntu): windows 10

Beginne mit der verknüpften StackBlitz-Reproduktion und verfolge die Eingaben des Datumsbereichs-Auswählers durch die Änderungen am Start- und Enddatum. Bestätige, dass das Problem behoben ist, wenn das Startdatum nach dem Enddatum geändert wird und anschließend das Enddatum geändert wird, sodass die FormGroup ohne eine Fehlermeldung „matStartDateInvalid“ gültig bleibt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.