apache / apache/iceberg-python

feat: Automatic Vended Credential Refresh

Aperta
#3,506 0 commenti 1 reazione 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
1.1k
Fork
581
Merge medio
1g 17h
PR unite (30g)
77

Descrizione

### Feature Request / Improvement

Today, long-running writes to PyIceberg risk failing when credentials expire mid-transaction. The Java implementation addressed this by adding a vended-credential refresh mechanism that calls a REST catalog endpoint to obtain new credentials whenever the current ones are within five minutes of expiring.

I propose a similar approach for PyIceberg, delivered in three separate PRs:

1. **VendedCredential class implementation** (largest diff) -> [PR](https://github.com/apache/iceberg-python/pull/3507) ready for review
2. **Credential refresh support in `PyArrowFileIO`** -> PR pending review and merge of 1
3. **Credential refresh support in `FsspecFileIO`** -> PR pending review and merge of 1

PRs 2 and 3 depend on PR 1, which provides the core vended-credential implementation.

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia esaminando PR 3507, che contiene l’implementazione di VendedCredential ed è la dipendenza per il lavoro rimanente. Esamina quindi il supporto pianificato per l’aggiornamento di PyArrowFileIO e FsspecFileIO; la funzionalità sarà completa quando entrambe le integrazioni aggiorneranno prima della scadenza le credenziali ottenute dal catalogo REST.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
data-engineering
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
20/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.