apache / apache/iceberg-python
feat: Automatic Vended Credential Refresh
- Lenguaje dominante
- Python
- Estrellas
- 1.1k
- Forks
- 581
- Merge medio
- 1 d 17 h
- PR fusionados (30 d)
- 78
Descripción
### Feature Request / Improvement
Today, long-running writes to PyIceberg risk failing when credentials expire mid-transaction. The Java implementation addressed this by adding a vended-credential refresh mechanism that calls a REST catalog endpoint to obtain new credentials whenever the current ones are within five minutes of expiring.
I propose a similar approach for PyIceberg, delivered in three separate PRs:
1. **VendedCredential class implementation** (largest diff) -> [PR](https://github.com/apache/iceberg-python/pull/3507) ready for review
2. **Credential refresh support in `PyArrowFileIO`** -> PR pending review and merge of 1
3. **Credential refresh support in `FsspecFileIO`** -> PR pending review and merge of 1
PRs 2 and 3 depend on PR 1, which provides the core vended-credential implementation.
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Empieza revisando PR 3507, que contiene la implementación de VendedCredential y es la dependencia para el trabajo restante. Después, inspecciona el soporte de actualización planificado para PyArrowFileIO y FsspecFileIO; la funcionalidad estará completa cuando ambas integraciones actualicen, antes de que caduquen, las credenciales obtenidas del catálogo REST.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- python
- Área
- data-engineering
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 20/100