AbsaOSS / AbsaOSS/enceladus

Make integration tests runnable in distributed mode

Đang mở
#317 0 bình luận 0 reaction 1 người được giao Được @yruslan nhận Xem trên GitHub
Conformance feature priority: low Standardization
Ngôn ngữ chính
Scala
Star
33
Fork
16
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

## Background
Most of the unit tests can be ran in distributed mode on a Hadoop cluster already.

But some integration tests rely on input files located in a local file system to be available to a Spark application. Since cluster configuration uses HDFS instead of local filesystem for storing files, Standardization and Conformance jobs cannot find expected files and fail.

## Feature
Make Standardization and Conformance integration tests runnable in distributed mode on a cluster.

## Proposed Solution
Here is an idea for a possible solution.

In order for Conformance integration tests to work on a cluster:
* A path to a temporary HDFS folder should be provided in `application.conf`. The folder should have read/write access.
* Input tests data and mapping tables should be generated before any integration test is ran. The files should be put to the specified temporary folder.
* Integration tests should use the configured temporary path location in all dataset and mapping table definitions.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.