apache / apache/datafusion-python
Attach runtime before calling scan for foreign table provider
- Linguagem predominante
- Python
- Estrelas
- 604
- Forks
- 174
- Merge médio
- 2d 22h
- PRs com merge (30d)
- 5
Descrição
**Is your feature request related to a problem or challenge? Please describe what you are trying to do.**
In the table provider for `lance` in the `scan` method I sometimes have to do a small amount of I/O to load dataset metadata if the metadata is not already in the cache. The `scan` method is async so I assume this is ok. However, I use `spawn_blocking` to trigger this I/O and it fails because the runtime is not active.
**Describe the solution you'd like**
The runtime should be attached before calling `scan`.
**Describe alternatives you've considered**
Currently I work around this by forcing the metadata to be cached before creating the table provider but this is inconvenient.
**Additional context**
Can provide additional details (stack traces, lance reproducers, etc.) on request.
Guia de contribuição
Nenhum guia de contribuição indexado para este repositório
Direção de pesquisa
Comece no ponto de entrada assíncrono `scan` do provedor de tabelas e no caminho `spawn_blocking` descrito na issue. Reproduza um cache miss dos metadados do Lance, rastreie quando o runtime é anexado em relação a `scan` e confirme que o caminho de cache miss é concluído sem o erro do runtime.
Escrita pelo modelo de indexação a partir do texto da issue.
Avaliação
- Stack de tecnologia
- python
- Domínio
- databases
- Tipo de issue
- Funcionalidade
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Status de atividade
- Estagnada
- Clareza
- Razoavelmente clara
- Facilidade para iniciantes
- 45/100