apache / apache/parquet-java

Filtering dictionary data types using dplyr in Arrow package

Aperta
#2,562 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Component: Parquet Priority: Major Type: bug
Lingua principale
Java
Stelle
3.1k
Fork
1.6k
Merge medio
3g 12h
PR unite (30g)
33

Descrizione

Is there any way where we can filter the dictionary data types using dplyr. Below is the example for illustration 

test %>% dplyr::filter(cols %in% c("A","B","C") %>collect(). It gives me following error

Error in dataset___Scanner__ToTable(self) :   NotImplemented: Function is_in has no kernel matching input types (array[dictionary])

Here cols is dictionary type value

**Reporter**: [Soumya Ranjan Prusty](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=prustys)

**Note**: *This issue was originally created as [PARQUET-1962](https://issues.apache.org/jira/browse/PARQUET-1962). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia riproducendo l’esempio di filtro di dplyr con il valore cols di tipo dictionary e analizza la gestione di Arrow che segnala l’assenza di un kernel is_in corrispondente. Il lavoro è completato quando il filtraggio dei tipi di dati dictionary con i valori elencati termina senza l’errore NotImplemented.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
r
Ambito
data
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.