apache / apache/arrow-java

Trying to use for Android but keep getting No DefaultAllocationManager found on classpath

Đang mở
#801 3 bình luận 0 reaction 0 người được giao Xem trên GitHub
Type: bug
Ngôn ngữ chính
Java
Star
94
Fork
152
Merge trung bình
3 ngày 16 giờ
Pull request đã merge (30 ngày)
11

Mô tả

### Describe the bug, including details regarding any error messages, version, and platform.

I have all the dependencies in place, code compiles just fine but when I run it and attempt to parse from an arrow stream like this (or using any of the parsers like from a file)

val df = DataFrame.readArrowFeather(channel.toInputStream(null))

I always get

Caused by: java.lang.RuntimeException: No DefaultAllocationManager found on classpath. Can't allocate Arrow buffers. Please consider adding arrow-memory-netty or arrow-memory-unsafe as a dependency.

Same for
val rootAllocator = RootAllocator()
val fileInputStream = FileInputStream(File(filepath))
val arrowReader = ArrowStreamReader(fileInputStream, rootAllocator)

Asking Gradle for my arrow dependencies I see

| +--- org.jetbrains.kotlinx:dataframe-arrow:1.0.0-dev-7570
| | +--- org.apache.arrow:arrow-vector:18.1.0
| | | +--- org.apache.arrow:arrow-format:18.1.0
| | | +--- org.apache.arrow:arrow-memory-core:18.1.0
| | +--- org.apache.arrow:arrow-format:18.1.0 (*)
| | +--- org.apache.arrow:arrow-memory-unsafe:18.1.0
| | | \--- org.apache.arrow:arrow-memory-core:18.1.0 (*)
+--- org.jetbrains.kotlinx:dataframe-arrow:1.0.0-dev-7570 (*)
+--- org.apache.arrow:arrow-memory-unsafe:18.1.0 (*)

This happens even if I don't use org.jetbrains.kotlinx.dataframe and just call the Apache Arrow parser directly as seen in second code example above.

I have tried adding both arrow-memory-unsage and arrow-memory-netty with the same result. I have been beating my head against a wall for the last few days. Is Android supported with this library? The data from the server comes to me in arrow-stream format so I need to be able to parse it to shows charts.

I have been able to parse the data just fine with Python and the web team is parsing it as well. I need to do this for Native Android and Native iOS.

### Component(s)

Integration

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu bằng cách tái hiện lỗi với DataFrame.readArrowFeather, RootAllocator và ArrowStreamReader trên Android, sử dụng các dependency được liệt kê là arrow-vector, arrow-memory-core, arrow-memory-unsafe và arrow-memory-netty. Theo dõi lý do DefaultAllocationManager không được tìm thấy khi chạy và xác minh liệu Android có được hỗ trợ hay không. Công việc được xem là hoàn tất khi việc phân tích stream và tệp Arrow hoạt động trên Android mà không có lỗi allocation-manager.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
android, java, kotlin
Lĩnh vực
mobile-dev
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.