bug(datepicker): Date range picker incorrectly has matStartDateInvalid error after modification

#### Reproduction

Use StackBlitz to reproduce your issue: https://stackblitz.com/edit/angular-uotl3m-yzo7qt

Steps to reproduce:
1. Pick a date range in date picker.
2. Modify the start date using the input with a date after the end date
3. Modify the end date using the input with a date after the start date

#### Expected Behavior

The FormGroup is valid and not error message is show.

#### Actual Behavior

What behavior did you actually see?

The error message "Invalid start date" is show.

**If you change the version of material from "^11.0.0" to "11.0.0" there is no problemr**

#### Environment

- Angular: "^11.0.0
- CDK/Material: "^11.0.0
- Browser(s): Chrome
- Operating System (e.g. Windows, macOS, Ubuntu): windows 10

リンクされた StackBlitz の再現手順から始め、日付範囲ピッカーの入力を開始日と終了日の変更に沿って追跡します。終了日より後に開始日を変更し、その後終了日を変更したときに、「matStartDateInvalid」エラーメッセージが表示されず FormGroup が有効なままになることを確認します。

索引モデルが issue の本文から書いたものです。