apache / apache/iceberg-python
feat: Automatic Vended Credential Refresh
- Lingua principale
- Python
- Stelle
- 1.1k
- Fork
- 581
- Merge medio
- 1g 17h
- PR unite (30g)
- 77
Descrizione
### Feature Request / Improvement
Today, long-running writes to PyIceberg risk failing when credentials expire mid-transaction. The Java implementation addressed this by adding a vended-credential refresh mechanism that calls a REST catalog endpoint to obtain new credentials whenever the current ones are within five minutes of expiring.
I propose a similar approach for PyIceberg, delivered in three separate PRs:
1. **VendedCredential class implementation** (largest diff) -> [PR](https://github.com/apache/iceberg-python/pull/3507) ready for review
2. **Credential refresh support in `PyArrowFileIO`** -> PR pending review and merge of 1
3. **Credential refresh support in `FsspecFileIO`** -> PR pending review and merge of 1
PRs 2 and 3 depend on PR 1, which provides the core vended-credential implementation.
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Inizia esaminando PR 3507, che contiene l’implementazione di VendedCredential ed è la dipendenza per il lavoro rimanente. Esamina quindi il supporto pianificato per l’aggiornamento di PyArrowFileIO e FsspecFileIO; la funzionalità sarà completa quando entrambe le integrazioni aggiorneranno prima della scadenza le credenziali ottenute dal catalogo REST.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python
- Ambito
- data-engineering
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 20/100