AbsaOSS/pramen

在 GitHub 檢視

Resilient data pipeline framework running on Apache Spark

星號: 31
分支: 4
開放的新手 issue: 0
已索引 issue: 38
平均合併: 1 天 10 分鐘
30 天內合併 PR: 4

主要語言: Scala
授權條款: Apache-2.0
最近 GitHub push: 2026年9月7日
最近索引: 2026年9月13日
貢獻指南: 沒有貢獻指南
行為準則: 沒有行為準則
新手標籤: help wanted

未關閉全部

目前已索引 38 個未關閉的 Issue

Allow specifying Spark resources per Python-Py Transformer 未關閉

enhancement help wanted Pramen-Py

AbsaOSS/pramen#36 · 0 則留言 · 1 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
move from poetry to pdm 未關閉

Pramen-Py

AbsaOSS/pramen#41 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Fail the full pipeline on certain types of exceptions 未關閉

enhancement Pramen-Scala

AbsaOSS/pramen#87 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Make sure CI/CD includes Python 3.6 未關閉

bug CI/CD

AbsaOSS/pramen#89 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Maximum days late data load 未關閉

enhancement Pramen-Scala

AbsaOSS/pramen#120 · 0 則留言 · 1 個 reaction · 已指派 1 人 · 索引於 2026年9月13日
Allow storing the metastore configuration on Hadoop (HDFS, S3, etc) 未關閉

enhancement Pramen-Scala

AbsaOSS/pramen#121 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Add a metastore method that returns all available tables 未關閉

enhancement Pramen-Py Pramen-Scala

AbsaOSS/pramen#133 · 1 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Test coverage changes tracking 未關閉

question

AbsaOSS/pramen#144 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Some tests are in the 'tests' package where package private functions cannot be tested 未關閉

bug

AbsaOSS/pramen#157 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Allow sources to be configured as 'always have data' 未關閉

enhancement Pramen-Scala

AbsaOSS/pramen#184 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Remove security vulnerabilities if possible 未關閉

DE DS enhancement

AbsaOSS/pramen#215 · 2 則留言 · 0 個 reaction · 已指派 1 人 · 索引於 2026年9月13日
Stateful data checks for ingestion and other types of jobs 未關閉

DE DS enhancement Pramen-Scala

AbsaOSS/pramen#220 · 2 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Improve error messages for EnceladusSink errors 未關閉

DE enhancement Pramen-Scala

AbsaOSS/pramen#240 · 0 則留言 · 0 個 reaction · 已指派 1 人 · 索引於 2026年9月13日
Add an option to not track late data for a table 未關閉

enhancement Pramen-Scala

AbsaOSS/pramen#282 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Pramen pipelines sometimes hang when parallel.tasks > 1 未關閉

bug might be fixed already Pramen-Scala

AbsaOSS/pramen#302 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Add 'pramen-test' artifact that contains fixtures for testing Pramen components 未關閉

enhancement Pramen-Scala

AbsaOSS/pramen#335 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Calculate and log stability metric for each operation 未關閉

enhancement Pramen-Scala

AbsaOSS/pramen#337 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Add a mode for initial ingestion of event data 未關閉

DE enhancement Pramen-Scala

AbsaOSS/pramen#350 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Add an ability to format info date and insert date expression into JDBC SQL queries 未關閉

DS enhancement Pramen-Scala

AbsaOSS/pramen#360 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Create a CDC transformer 未關閉

DE enhancement Pramen-Scala

AbsaOSS/pramen#365 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Improve unit test coverage of ResultSetToRowIterator.scala 未關閉

enhancement Pramen-Scala Refactoring

AbsaOSS/pramen#379 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
A Hive table fails to load if a custom schema is used. 未關閉

bug DS Pramen-Scala

AbsaOSS/pramen#398 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Add the ability to have metastore partitioning column as a string, not a date 未關閉

DS enhancement Pramen-Scala

AbsaOSS/pramen#424 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Make embedded MongoDb tests runnable on MacOs/AppleSilicon and Windows 未關閉

enhancement Pramen-Scala

AbsaOSS/pramen#435 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Add a way to route different issues to different email lists 未關閉

DE enhancement Pramen-Scala

AbsaOSS/pramen#481 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Include tenant name in email notifications, if defined 未關閉

arguable enhancement

AbsaOSS/pramen#505 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Remove the limit of the incremental ingestion of files so that files can arrive out of order 未關閉

enhancement

AbsaOSS/pramen#522 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Allow sinks not to have input tables, only table dependencies 未關閉

arguable enhancement

AbsaOSS/pramen#525 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Make sure `disable.count.query = true` does not change the behavior of ingestion 未關閉

arguable enhancement

AbsaOSS/pramen#539 · 1 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Migrate to the new SonaType platform 未關閉

enhancement

AbsaOSS/pramen#618 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Consolidate bookkeeping entries for incremental jobs 未關閉

enhancement

AbsaOSS/pramen#651 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Update Spark in PySpark to use newer Spark stubs 未關閉

enhancement

AbsaOSS/pramen#653 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Add ability to track number of records deviation and report it as warnings in email notifications 未關閉

enhancement

AbsaOSS/pramen#729 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Add timeout based on expected execution time of JDBC ingestion 未關閉

enhancement

AbsaOSS/pramen#732 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Adopt Java Method Filtration JaCoCo Extension 未關閉

enhancement

AbsaOSS/pramen#740 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Jdbc Count doesn't use additional options from JDBC config 未關閉

bug

AbsaOSS/pramen#758 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Add a parallelism mode that allows parallel job runs but never the same job for different info dates 未關閉

enhancement

AbsaOSS/pramen#759 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Add support for automatic repartitioning in bulk history load mode 未關閉

enhancement

AbsaOSS/pramen#791 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日

AbsaOSS/pramen

把新 issue 寄到你的電子郵件信箱