AlibabaResearch / AlibabaResearch/DAMO-ConvAI

Evaluation Method for BIRD Dataset [Enhancement]

オープン
#159 コメント 2 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
1.6k
フォーク
250
PR マージ指標
30日以内にマージされた PR はありません

説明

Hello,

I encountered an improvement opportunity during the evaluation process for the BIRD dataset. The prediction below is marked as incorrect by the evaluation method, but the only difference is the order of the elements.

![image](https://github.com/user-attachments/assets/f706bc94-fd96-483b-8e5a-9b9739e0c5ae)

The evaluation method uses strict equality. This occurs in the file [bird/llm/src/evaluation.py](https://github.com/AlibabaResearch/DAMO-ConvAI/blob/main/bird/llm/src/evaluation.py) on line 26.

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。