Support configurable for DirectByteBufferAllocator from Hadoop Configuration
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
Now in [HadoopReadOptions\|([https://github.com/apache/parquet-mr/blob/master/parquet-hadoop/src/main/java/org/apache/parquet/HadoopReadOptions.java#L85]] class, we cannot change default allocator from Hadoop Configuration.
Add a config `parquet.allocator.direct.enabled` to enable `DirectByteBufferAllocator` in `ParuqetFileReader`.
**Reporter**: [ShuMing Li](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=lishuming)
#### Related issues:
- [ColumnChunkPageWriter uses only heap memory.](https://github.com/apache/parquet-java/issues/2060) (relates to)
#### PRs and other links:
- [GitHub Pull Request #749](https://github.com/apache/parquet-mr/pull/749)
**Note**: *This issue was originally created as [PARQUET-1771](https://issues.apache.org/jira/browse/PARQUET-1771). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne mit parquet-hadoop/src/main/java/org/apache/parquet/HadoopReadOptions.java und dem Pfad in ParquetFileReader, der den Allocator auswählt. Verfolge, wie die Hadoop Configuration gelesen wird und wie DirectByteBufferAllocator ausgewählt wird; die Aufgabe ist abgeschlossen, wenn parquet.allocator.direct.enabled diese Auswahl steuert und das bestehende Verhalten beibehalten wird, wenn die Option nicht aktiviert ist.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- data-engineering
- Issue-Typ
- Feature
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Klar beschrieben
- Anfängerfreundlichkeit
- 25/100