apache / apache/iceberg-python
Add `VariantType`
Ninguém assumiu esta issue ainda.
- Linguagem predominante
- Python
- Estrelas
- 1.1k
- Forks
- 588
- Merge médio
- 1d 23h
- PRs com merge (30d)
- 84
Descrição
Feature Request / Improvement
The VariantType is a semi-structured type that's part of V3.
- Hopefully, the Parquet format will be released soon: https://lists.apache.org/thread/mr8krzdy8qslhhy5zbll53fd2hy6cpwg
- Once that's in, I'll be added to Arrow: https://github.com/apache/arrow/pull/45375
- I think for PyIceberg, we need to wait for PyArrow support.
There is a Python implementation in Spark that we could vendor into the project, but that will be pretty slow: https://github.com/apache/spark/blob/master/python/pyspark/sql/variant_utils.py
Thoughts?
Original proposal: https://github.com/apache/iceberg/issues/10392
Guia de contribuição
Nenhum guia de contribuição indexado para este repositório
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Direção de pesquisa
Comece verificando o trabalho vinculado de Parquet e Arrow para determinar se o suporte necessário a VariantType está disponível e, em seguida, leia Spark's python/pyspark/sql/variant_utils.py como a implementação de referência. O trabalho estará concluído quando o PyIceberg tiver um caminho de implementação acordado para VariantType assim que a dependência PyArrow oferecer suporte a ele.
Escrita pelo modelo de indexação a partir do texto da issue.
Avaliação
- Stack de tecnologia
- python, spark
- Domínio
- data
- Tipo de issue
- Funcionalidade
- Dificuldade
- 5/5
- Tempo estimado
- Mais de uma semana
- Status de atividade
- Pouca atividade
- Clareza
- Precisa de esclarecimento
- Facilidade para iniciantes
- 25/100