关于AICB生成负载文件的一些问题

1.关于被计算overlap掉的反向ig的梯度传播的通信行为仿真
目前生成的负载文件，根据论文的描述，反向传播ig的梯度进行的集合通信行为能够被反向计算wg的时间进行overlap，因此没有生成。那目前有办法将被overlap掉的反向集合通信的行为生成在负载文件中吗？

2.关于grad_gather、grad_param_comm、grad_param_compute这三个参数的说明
目前在py文件中看到grad_gather的大小为2 * total_params,而grad_param_comm的大小为4*total_params。请问为什么不是直接通过ALLReduce来直接讲DP的梯度进行同步呢。还有就是关于grad_param_compute，根据字面意思，这里是计算参数的梯度，但在反向传播的时候，不是在wg阶段计算过每层的梯度吗，为啥这里还要花时间进行梯度计算呢。

3.关于pp并行维度不变，修改tp并行维度后，总参数量的变化
目前就我的理解，模型的总参数大小应该只和hidden_size、num_layers、max_position_embedding等影响模型每一层参数以及模型结构的参数有关。但为啥我修改了tp并行维度后，总参数量也发生了变化，直接反映在grad_gather、grad_param_comm的值发生变化了。正常来说tp应该只是拆分模型层的参数，但模型总参数应该没有发生变化吧。

Start with the Python workload-generation code that defines grad_gather, grad_param_comm, and grad_param_compute, then compare those calculations with the paper's treatment of overlapped reverse communication. Trace how changing TP while keeping PP fixed affects the reported values. Done means providing documented answers to the three questions or separating any confirmed implementation gap into a scoped follow-up.