aai-institute / aai-institute/pyDVL

Cache with running average - possible bias and instability

未关闭
#84 2 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
benchmarking enhancement theory
主要语言
Python
星标
146
派生
10
PR 合并指标
30 天内没有已合并 PR

描述

Our cache uses a running average to speed up the calculation of the shapley values for non-deterministic training. However, it is unclear how stable montecarlo shapley is towards non-deterministic training, and even more so with a running average calculation of the shapley values. We should do some experiments to check the stability of these new options in a few examples, and possibly include some tests in our pipelines.

贡献指南

打开贡献指南

调研方向

该 issue 涉及使用运行平均值缓存进行非确定性训练时 Monte Carlo Shapley 值计算的稳定性。首先检查 pyDVL 中的缓存实现和 Shapley 值计算代码。设计实验,在不同数据集或模型上比较使用缓存和不使用缓存的结果,以评估偏差和不稳定性。最终应形成一份报告或测试套件,用于验证该方法。

由索引模型根据 Issue 内容生成。

评估

技术栈
python
领域
machine-learning, testing
Issue 类型
功能
难度
4/5
预计耗时
3-5 天
活跃度
停滞
描述清晰度
基本清楚
新手友好度
35/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。