AlibabaResearch / AlibabaResearch/DAMO-ConvAI

QueryHistoryToday description mismatch

オープン
#142 コメント 3 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
1.6k
フォーク
250
PR マージ指標
30日以内にマージされた PR はありません

説明

## Issue

The [description of the `QueryHistoryToday` API](https://github.com/AlibabaResearch/DAMO-ConvAI/blob/main/api-bank/apis/query_history_today.py#L6) in code (`"This API queries the history of the given date."`) does not match the description present in the jsonl files `QueryHistoryToday-level-3-2.jsonl` and `QueryHistoryToday-level-3-3.jsonl` (`"This API queries the history of a given user today."`). This means seems to mean you are guaranteed to fail on these examples given the strict `==` check in the `check_api_call_correctness` method of `tool_search.py`.

## Suggested fixes

1. Change
```
response['output'] == groundtruth['output']
```
to
```
response['api_name'] == groundtruth['api_name']
```
as we only really care that it found the correct API and know what the description of the API is.

2. Update the `jsonl` files to use the correct description.

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。