apache / apache/datafusion-python

Spike: evaluate if cuDF can be used with datafusion-python

Aberta
#936 8 comentários 1 reação 0 responsáveis Ver no GitHub
enhancement
Linguagem predominante
Python
Estrelas
604
Forks
174
Merge médio
2d 22h
PRs com merge (30d)
5

Descrição

**Is your feature request related to a problem or challenge? Please describe what you are trying to do.**

As other DataFrame libraries start moving to leveraging GPU resources, it would be useful to see if we could leverage the work already done in pandas and polars for interoperating with cuDF to give a similar experience in DataFusion.

**Describe the solution you'd like**

Evaluate the level of effort and technical limitations to using cuDF to evaluate DataFrames. Also worth evaluating is their c++ interface which we could potentially bring in to DataFusion upstream if we are willing to write the appropriate wrappers.

**Describe alternatives you've considered**

Leave as is.

**Additional context**

This task is really just focused on researching what would be required and if there is an opportunity here.

Guia de contribuição

Nenhum guia de contribuição indexado para este repositório

Direção de pesquisa

Nenhum arquivo, teste ou ponto de entrada específico é mencionado. Revise o trabalho existente de interoperabilidade entre pandas e polars e, em seguida, avalie a avaliação de cuDF DataFrame e sua interface C++. O trabalho estará concluído quando forem documentados o esforço necessário, as limitações técnicas e se existe uma oportunidade upstream para o DataFusion.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
cpp, python
Domínio
data-engineering
Tipo de issue
Funcionalidade
Dificuldade
5/5
Tempo estimado
Mais de uma semana
Status de atividade
Estagnada
Clareza
Precisa de esclarecimento
Facilidade para iniciantes
25/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.