AbsaOSS/pramen

Auf GitHub ansehen

Resilient data pipeline framework running on Apache Spark

Sterne: 31
Forks: 4
Offene Anfänger-Issues: 0
Indexierte Issues: 38
Ø Merge: 1 T. 10 Min.
Gemergte PRs (30 T.): 4

Vorherrschende Sprache: Scala
Lizenz: Apache-2.0
Letzter GitHub-Push: 07.9.2026
Zuletzt indexiert: 13.9.2026
Beitragsleitfaden: Kein Beitragsleitfaden
Verhaltenskodex: Kein Verhaltenskodex
Anfänger-Labels: help wanted

Offen Alle

Bisher 38 offene Issues indexiert

Allow specifying Spark resources per Python-Py Transformer Offen

enhancement help wanted Pramen-Py

AbsaOSS/pramen#36 · 0 Kommentare · 1 Reaktion · 0 zugewiesene Personen · Indexiert am 13.9.2026
move from poetry to pdm Offen

Pramen-Py

AbsaOSS/pramen#41 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Fail the full pipeline on certain types of exceptions Offen

enhancement Pramen-Scala

AbsaOSS/pramen#87 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Make sure CI/CD includes Python 3.6 Offen

bug CI/CD

AbsaOSS/pramen#89 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Maximum days late data load Offen

enhancement Pramen-Scala

AbsaOSS/pramen#120 · 0 Kommentare · 1 Reaktion · 1 zugewiesene Person · Indexiert am 13.9.2026
Allow storing the metastore configuration on Hadoop (HDFS, S3, etc) Offen

enhancement Pramen-Scala

AbsaOSS/pramen#121 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Add a metastore method that returns all available tables Offen

enhancement Pramen-Py Pramen-Scala

AbsaOSS/pramen#133 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Test coverage changes tracking Offen

question

AbsaOSS/pramen#144 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Some tests are in the 'tests' package where package private functions cannot be tested Offen

bug

AbsaOSS/pramen#157 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Allow sources to be configured as 'always have data' Offen

enhancement Pramen-Scala

AbsaOSS/pramen#184 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Remove security vulnerabilities if possible Offen

DE DS enhancement

AbsaOSS/pramen#215 · 2 Kommentare · 0 Reaktionen · 1 zugewiesene Person · Indexiert am 13.9.2026
Stateful data checks for ingestion and other types of jobs Offen

DE DS enhancement Pramen-Scala

AbsaOSS/pramen#220 · 2 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Improve error messages for EnceladusSink errors Offen

DE enhancement Pramen-Scala

AbsaOSS/pramen#240 · 0 Kommentare · 0 Reaktionen · 1 zugewiesene Person · Indexiert am 13.9.2026
Add an option to not track late data for a table Offen

enhancement Pramen-Scala

AbsaOSS/pramen#282 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Pramen pipelines sometimes hang when parallel.tasks > 1 Offen

bug might be fixed already Pramen-Scala

AbsaOSS/pramen#302 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Add 'pramen-test' artifact that contains fixtures for testing Pramen components Offen

enhancement Pramen-Scala

AbsaOSS/pramen#335 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Calculate and log stability metric for each operation Offen

enhancement Pramen-Scala

AbsaOSS/pramen#337 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Add a mode for initial ingestion of event data Offen

DE enhancement Pramen-Scala

AbsaOSS/pramen#350 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Add an ability to format info date and insert date expression into JDBC SQL queries Offen

DS enhancement Pramen-Scala

AbsaOSS/pramen#360 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Create a CDC transformer Offen

DE enhancement Pramen-Scala

AbsaOSS/pramen#365 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Improve unit test coverage of ResultSetToRowIterator.scala Offen

enhancement Pramen-Scala Refactoring

AbsaOSS/pramen#379 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
A Hive table fails to load if a custom schema is used. Offen

bug DS Pramen-Scala

AbsaOSS/pramen#398 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Add the ability to have metastore partitioning column as a string, not a date Offen

DS enhancement Pramen-Scala

AbsaOSS/pramen#424 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Make embedded MongoDb tests runnable on MacOs/AppleSilicon and Windows Offen

enhancement Pramen-Scala

AbsaOSS/pramen#435 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Add a way to route different issues to different email lists Offen

DE enhancement Pramen-Scala

AbsaOSS/pramen#481 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Include tenant name in email notifications, if defined Offen

arguable enhancement

AbsaOSS/pramen#505 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Remove the limit of the incremental ingestion of files so that files can arrive out of order Offen

enhancement

AbsaOSS/pramen#522 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Allow sinks not to have input tables, only table dependencies Offen

arguable enhancement

AbsaOSS/pramen#525 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Make sure `disable.count.query = true` does not change the behavior of ingestion Offen

arguable enhancement

AbsaOSS/pramen#539 · 1 Kommentar · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Migrate to the new SonaType platform Offen

enhancement

AbsaOSS/pramen#618 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Consolidate bookkeeping entries for incremental jobs Offen

enhancement

AbsaOSS/pramen#651 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Update Spark in PySpark to use newer Spark stubs Offen

enhancement

AbsaOSS/pramen#653 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Add ability to track number of records deviation and report it as warnings in email notifications Offen

enhancement

AbsaOSS/pramen#729 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Add timeout based on expected execution time of JDBC ingestion Offen

enhancement

AbsaOSS/pramen#732 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Adopt Java Method Filtration JaCoCo Extension Offen

enhancement

AbsaOSS/pramen#740 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Jdbc Count doesn't use additional options from JDBC config Offen

bug

AbsaOSS/pramen#758 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Add a parallelism mode that allows parallel job runs but never the same job for different info dates Offen

enhancement

AbsaOSS/pramen#759 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026
Add support for automatic repartitioning in bulk history load mode Offen

enhancement

AbsaOSS/pramen#791 · 0 Kommentare · 0 Reaktionen · 0 zugewiesene Personen · Indexiert am 13.9.2026

AbsaOSS/pramen

Neue Issues direkt in Ihr Postfach