aws / aws/aws-sdk-cpp

AWS Glue - Null values in partition column

Aperta
#3,165 4 commenti 0 reazioni 0 assegnatari Vedi su GitHub
bug glue p3 service-api
Lingua principale
C++
Stelle
2.2k
Fork
1.2k
Merge medio
4g 11h
PR unite (30g)
13

Descrizione

Original discussion: https://github.com/aws/aws-sdk-cpp/discussions/2803

It seems like glue isn't handling the getpartitions API correctly where a partition column has null value.
Example below, I am using the aws cli for simiplicity , which gives the same output as the SDK

My table data is structured as below in S3
```
s3://example-bucket/example_table/
├── int_partition_col=null/
│ ├── string_partition_col=null/
│ │ └── data-part-00001.csv
├── int_partition_col=1/
│ ├── string_partition_col=A/
│ │ └── data-part-00002.csv
└── int_partition_col=2/
├── string_partition_col=B/
│ └── data-part-00003.csv

```
```
> aws glue get-partitions --database-name example_db --table-name example_table --expression "(int_partition_col >= 0)" ->
An error occurred (InvalidStateException) when calling the GetPartitions operation: For input string: "null" is not an integer.

> aws glue get-partitions --database-name example_db --table-name example_table --expression "(string_partition_col is null)" -> Returns empty

> aws glue get-partitions --database-name example_db --table-name example_table --expression "(string_partition_col = 'null')"-> works correctly

```
So it seems like the null value is being considered as a string literal? But from the documentation [here](https://docs.aws.amazon.com/glue/latest/webapi/API_GetPartitions.html), it seems IS NULL etc are supported?

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia dalla discussione collegata e dalla documentazione di AWS Glue GetPartitions, quindi riproduci i tre comandi aws glue get-partitions rispetto al layout delle partizioni di esempio. Confronta il comportamento di SDK e CLI e stabilisci se la gestione di null è un problema dell’SDK o del servizio Glue; il completamento richiede una diagnosi confermata e una modifica chiaramente circoscritta.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
aws, cpp
Ambito
api, cloud
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
20/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.