AbsaOSS / AbsaOSS/cobrix

Does Cobrix handle the Easytrieve layout ?

Đang mở
#623 3 bình luận 0 reaction 0 người được giao Xem trên GitHub
question
Ngôn ngữ chính
Scala
Star
170
Fork
96
Merge trung bình
57 phút
Pull request đã merge (30 ngày)
2

Mô tả

# Background

I am having the Easytrive layout which is having the Packed unsigned fields (data-type U in Easytrieve), binary unsigned fields (data-type B in Easytrieve) and Alpha-numeric fields (data-type A in Easytrieve and storing Hexbit). The Data file that we are trying to convert is EBCDIC data

# Question

We were using cobrix for couple of files which it worked fine till now. Recently encountered one new file of Easytrieve layout which is not cobol
and we are not able to decode the file into ascii.

We are using below options/parameters to read the file.

> def read_dataframe(spark, copybook):
>     return (
>         spark.read.format("cobol")
>         .option("record_format","F")
>         .option("encoding", "ebcdic")
>         .option("copybook", copybook) #Copybook
>         .option("enable_indexes", "false")
>         .option("input_split_size_mb", "256")
>         .option("drop_value_fillers", "true")
>         .option("drop_group_fillers", "false")
>         .option("generate_record_id", "false")
>         .option("schema_retention_policy", "keep_original")
>         .option("paths", ",".join(data_files)) #EBCIDIC File
>         .load()
>     )

Please find the attached sample data and layout for your reference @yruslan .

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.