AI-Hypercomputer / AI-Hypercomputer/accelerator-microbenchmarks

[Question] I'm confused about what the "_xd" suffix means in the all_to_all benchmark configs

Đang mở
#72 1 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Python
Star
24
Fork
42
Merge trung bình
3 giờ 36 phút
Pull request đã merge (30 ngày)
2

Mô tả

When reading the accelerator-microbenchmarks code, I'm very confused about one part. Below is the benchmark test configuration for all_to_all communication:

all_to_all_3d:
- mesh_shape: "4x4x8"
sharding_strategy: "4x4x8"
op_dimension: 3

all_to_all_2d:
- mesh_shape: "4x32"
sharding_strategy: "1x32"
op_dimension: 2

all_to_all_1d:
mesh_shape: "4x4x8"
sharding_strategy: "1x1x4"
op_dimension: 1

I originally thought that "_xd" describes data communicating across x dimensions, but it seems that both 1d and 2d only need communication in one dimension? Is it determined by op_dimension for how many dimensions? The all_to_all_benchmark function in the code also doesn't seem to use the op_dimension parameter.

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.