apache / apache/parquet-java

Proto-Parquet cannot write a schema with an empty group

Offen
#2,142 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Parquet Priority: Major Type: bug
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

This is valid protobuf:

 
```java

message Something {
    EmptyMessage outerEmptyMessage = 1;
}

message EmptyMessage {
}
```
However when we try to convert this to Parquet we get:
```java

org.apache.parquet.schema.InvalidSchemaException: Cannot write a schema with an empty group: optional group outerEmptyMessage = 1 {
}
```
Is this a limitation of the Parquet format, or just a bug?

If the former, can we break earlier when generating the schema out of Protobuf, and not when trying to write the content to the already generated schema?

 

**Reporter**: [André Pinto](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=andresp)

**Note**: *This issue was originally created as [PARQUET-1240](https://issues.apache.org/jira/browse/PARQUET-1240). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne damit, das gemeldete protobuf-Beispiel mit einer leeren verschachtelten Nachricht zu reproduzieren, und verfolge den protobuf-to-Parquet-Pfad zur Schemaerzeugung. Ermittle, ob die erzeugte leere Gruppe von Parquet nicht unterstützt wird oder falsch erzeugt wird, und lasse den Fehler bei der Schemaerzeugung auftreten, falls eine frühere Validierung erforderlich ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
databases
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
30/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.