aai-institute / aai-institute/pyDVL
Cache with running average - possible bias and instability
未关闭
benchmarking
enhancement
theory
- 主要语言
- Python
- 星标
- 146
- 派生
- 10
- PR 合并指标
- 30 天内没有已合并 PR
描述
Our cache uses a running average to speed up the calculation of the shapley values for non-deterministic training. However, it is unclear how stable montecarlo shapley is towards non-deterministic training, and even more so with a running average calculation of the shapley values. We should do some experiments to check the stability of these new options in a few examples, and possibly include some tests in our pipelines.
贡献指南
调研方向
该 issue 涉及使用运行平均值缓存进行非确定性训练时 Monte Carlo Shapley 值计算的稳定性。首先检查 pyDVL 中的缓存实现和 Shapley 值计算代码。设计实验,在不同数据集或模型上比较使用缓存和不使用缓存的结果,以评估偏差和不稳定性。最终应形成一份报告或测试套件,用于验证该方法。
由索引模型根据 Issue 内容生成。
评估
- 技术栈
- python
- 领域
- machine-learning, testing
- Issue 类型
- 功能
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 活跃度
- 停滞
- 描述清晰度
- 基本清楚
- 新手友好度
- 35/100