google / google/example_extrapolation

Did you use clinc150 data_imbalanced vs data_full?

未关闭
#1 3 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
主要语言
Python
星标
9
派生
4
PR 合并指标
30 天内没有已合并 PR

描述

Hi,

I experimented with verifying your approach however I didn't receive such low F1 numbers for few shot. In looking at data_full, banking has the same amount of training samples as all other domains/intents. Did you in fact use data imbalanced?

贡献指南

打开贡献指南

调研方向

将报告中的 CLINC150 实验与 repository 的 data_full 和 data_imbalanced 数据集进行比较,重点关注 banking 领域和训练样本数量。首先确定实验使用了哪个数据集,然后验证 few-shot F1 结果。完成的标准是记录清楚该差异是否源于数据集选择,或源于其他可复现的设置差异。

由索引模型根据 Issue 内容生成。

评估

技术栈
python
领域
machine-learning
Issue 类型
缺陷
难度
3/5
预计耗时
1-2 天
活跃度
停滞
描述清晰度
需要澄清
新手友好度
20/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。