apache / apache/iceberg-python
feat: Automatic Vended Credential Refresh
- Vorherrschende Sprache
- Python
- Sterne
- 1.1k
- Forks
- 581
- Ø Merge
- 1 T. 17 Std.
- Gemergte PRs (30 T.)
- 78
Beschreibung
### Feature Request / Improvement
Today, long-running writes to PyIceberg risk failing when credentials expire mid-transaction. The Java implementation addressed this by adding a vended-credential refresh mechanism that calls a REST catalog endpoint to obtain new credentials whenever the current ones are within five minutes of expiring.
I propose a similar approach for PyIceberg, delivered in three separate PRs:
1. **VendedCredential class implementation** (largest diff) -> [PR](https://github.com/apache/iceberg-python/pull/3507) ready for review
2. **Credential refresh support in `PyArrowFileIO`** -> PR pending review and merge of 1
3. **Credential refresh support in `FsspecFileIO`** -> PR pending review and merge of 1
PRs 2 and 3 depend on PR 1, which provides the core vended-credential implementation.
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne mit der Durchsicht von PR 3507, das die VendedCredential-Implementierung enthält und die Abhängigkeit für die verbleibenden Arbeiten ist. Untersuche anschließend die geplante Unterstützung für die Aktualisierung von PyArrowFileIO und FsspecFileIO; das Feature ist vollständig, wenn beide Integrationen die vom REST-Katalog erhaltenen Anmeldedaten vor ihrem Ablauf aktualisieren.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- data-engineering
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 20/100