Parquet check-stats command only supports checking BINARY type columns.
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
Hi, community, could you tell me why parquet check-stats command only supports checking BINARY type columns?
https://github.com/apache/parquet-java/blob/5ac50884e9ee27a1ce3ee18cc5ed4422147e5387/parquet-cli/src/main/java/org/apache/parquet/cli/commands/CheckParquet251Command.java#L104
Could we add some optional parameters so that it can detect all types of columns? I just want to use this tool to know whether there is any data corruption in the parquet file(not just for BINARY type columns).
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginnen Sie mit dem Lesen von parquet-cli/src/main/java/org/apache/parquet/cli/commands/CheckParquet251Command.java etwa ab Zeile 104, um die aktuelle Prüfung zu verstehen, die nur BINARY unterstützt. Ermitteln Sie, wie optionale Parameter die Spaltentypen auswählen sollten, und überprüfen Sie anschließend, dass der Befehl sowohl für Nicht-BINARY-Spalten als auch für BINARY-Spalten Beschädigungen erkennen kann.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- cli
- Issue-Typ
- Feature
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 35/100