AbsaOSS/pramen

Ver no GitHub

Resilient data pipeline framework running on Apache Spark

Estrelas: 31
Forks: 4
Issues abertas para iniciantes: 0
Issues indexadas: 38
Merge médio: 1d 10min
PRs com merge (30d): 4

Linguagem predominante: Scala
Licença: Apache-2.0
Último push no GitHub: 7/9/2026
Última indexação: 13/9/2026
Guia de contribuição: Sem guia de contribuição
Código de conduta: Sem código de conduta
Labels para iniciantes: help wanted

Abertas Todas

38 issues abertas indexadas

Allow specifying Spark resources per Python-Py Transformer Aberta

enhancement help wanted Pramen-Py

AbsaOSS/pramen#36 · 0 comentários · 1 reação · 0 responsáveis · Indexada em 13/9/2026
move from poetry to pdm Aberta

Pramen-Py

AbsaOSS/pramen#41 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Fail the full pipeline on certain types of exceptions Aberta

enhancement Pramen-Scala

AbsaOSS/pramen#87 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Make sure CI/CD includes Python 3.6 Aberta

bug CI/CD

AbsaOSS/pramen#89 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Maximum days late data load Aberta

enhancement Pramen-Scala

AbsaOSS/pramen#120 · 0 comentários · 1 reação · 1 responsável · Indexada em 13/9/2026
Allow storing the metastore configuration on Hadoop (HDFS, S3, etc) Aberta

enhancement Pramen-Scala

AbsaOSS/pramen#121 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Add a metastore method that returns all available tables Aberta

enhancement Pramen-Py Pramen-Scala

AbsaOSS/pramen#133 · 1 comentário · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Test coverage changes tracking Aberta

question

AbsaOSS/pramen#144 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Some tests are in the 'tests' package where package private functions cannot be tested Aberta

bug

AbsaOSS/pramen#157 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Allow sources to be configured as 'always have data' Aberta

enhancement Pramen-Scala

AbsaOSS/pramen#184 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Remove security vulnerabilities if possible Aberta

DE DS enhancement

AbsaOSS/pramen#215 · 2 comentários · 0 reações · 1 responsável · Indexada em 13/9/2026
Stateful data checks for ingestion and other types of jobs Aberta

DE DS enhancement Pramen-Scala

AbsaOSS/pramen#220 · 2 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Improve error messages for EnceladusSink errors Aberta

DE enhancement Pramen-Scala

AbsaOSS/pramen#240 · 0 comentários · 0 reações · 1 responsável · Indexada em 13/9/2026
Add an option to not track late data for a table Aberta

enhancement Pramen-Scala

AbsaOSS/pramen#282 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Pramen pipelines sometimes hang when parallel.tasks > 1 Aberta

bug might be fixed already Pramen-Scala

AbsaOSS/pramen#302 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Add 'pramen-test' artifact that contains fixtures for testing Pramen components Aberta

enhancement Pramen-Scala

AbsaOSS/pramen#335 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Calculate and log stability metric for each operation Aberta

enhancement Pramen-Scala

AbsaOSS/pramen#337 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Add a mode for initial ingestion of event data Aberta

DE enhancement Pramen-Scala

AbsaOSS/pramen#350 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Add an ability to format info date and insert date expression into JDBC SQL queries Aberta

DS enhancement Pramen-Scala

AbsaOSS/pramen#360 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Create a CDC transformer Aberta

DE enhancement Pramen-Scala

AbsaOSS/pramen#365 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Improve unit test coverage of ResultSetToRowIterator.scala Aberta

enhancement Pramen-Scala Refactoring

AbsaOSS/pramen#379 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
A Hive table fails to load if a custom schema is used. Aberta

bug DS Pramen-Scala

AbsaOSS/pramen#398 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Add the ability to have metastore partitioning column as a string, not a date Aberta

DS enhancement Pramen-Scala

AbsaOSS/pramen#424 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Make embedded MongoDb tests runnable on MacOs/AppleSilicon and Windows Aberta

enhancement Pramen-Scala

AbsaOSS/pramen#435 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Add a way to route different issues to different email lists Aberta

DE enhancement Pramen-Scala

AbsaOSS/pramen#481 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Include tenant name in email notifications, if defined Aberta

arguable enhancement

AbsaOSS/pramen#505 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Remove the limit of the incremental ingestion of files so that files can arrive out of order Aberta

enhancement

AbsaOSS/pramen#522 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Allow sinks not to have input tables, only table dependencies Aberta

arguable enhancement

AbsaOSS/pramen#525 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Make sure `disable.count.query = true` does not change the behavior of ingestion Aberta

arguable enhancement

AbsaOSS/pramen#539 · 1 comentário · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Migrate to the new SonaType platform Aberta

enhancement

AbsaOSS/pramen#618 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Consolidate bookkeeping entries for incremental jobs Aberta

enhancement

AbsaOSS/pramen#651 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Update Spark in PySpark to use newer Spark stubs Aberta

enhancement

AbsaOSS/pramen#653 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Add ability to track number of records deviation and report it as warnings in email notifications Aberta

enhancement

AbsaOSS/pramen#729 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Add timeout based on expected execution time of JDBC ingestion Aberta

enhancement

AbsaOSS/pramen#732 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Adopt Java Method Filtration JaCoCo Extension Aberta

enhancement

AbsaOSS/pramen#740 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Jdbc Count doesn't use additional options from JDBC config Aberta

bug

AbsaOSS/pramen#758 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Add a parallelism mode that allows parallel job runs but never the same job for different info dates Aberta

enhancement

AbsaOSS/pramen#759 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026
Add support for automatic repartitioning in bulk history load mode Aberta

enhancement

AbsaOSS/pramen#791 · 0 comentários · 0 reações · 0 responsáveis · Indexada em 13/9/2026

AbsaOSS/pramen

Receba novas issues na sua caixa de entrada