apache / apache/parquet-java

Filtering dictionary data types using dplyr in Arrow package

Ouverte
#2,562 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Component: Parquet Priority: Major Type: bug
Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
3 j 12 h
PR mergées (30 j)
33

Description

Is there any way where we can filter the dictionary data types using dplyr. Below is the example for illustration 

test %>% dplyr::filter(cols %in% c("A","B","C") %>collect(). It gives me following error

Error in dataset___Scanner__ToTable(self) :   NotImplemented: Function is_in has no kernel matching input types (array[dictionary])

Here cols is dictionary type value

**Reporter**: [Soumya Ranjan Prusty](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=prustys)

**Note**: *This issue was originally created as [PARQUET-1962](https://issues.apache.org/jira/browse/PARQUET-1962). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Commencez par reproduire l’exemple de filtrage de dplyr avec la valeur cols typée dictionary, puis examinez la gestion de Arrow qui signale qu’aucun kernel is_in correspondant n’est disponible. C’est terminé lorsque le filtrage des types de données dictionary avec les valeurs indiquées s’effectue sans l’erreur NotImplemented.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
r
Domaine
data
Type d'issue
Bug
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.