AlibabaResearch / AlibabaResearch/DAMO-ConvAI

Logical Error in BIRD-DEV Ground Truth SQL (Question ID: 207)

Ouverte
#227 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
Python
Étoiles
1.6k
Forks
250
Métriques de merge des PR
Aucune PR mergée en 30 j

Description

**👋**
你们好!感谢团队为 Text-to-SQL 领域提供了如此优秀的数据集。
我在分析评测数据时,发现 BIRD-DEV 数据集中 `question_id: 207` 的标准答案存在表连接的逻辑错误,这会导致它返回错误的数据。

**🐛**
* **Database**: `toxicology`
* **Question ID**: 207
* **Question**: "What elements are in a double type bond?"
* **Evidence**: "double type bond refers to bond_type = '=';"

**❌ 当前的 Ground Truth SQL**
```sql
SELECT DISTINCT T1.element
FROM atom AS T1
INNER JOIN bond AS T2 ON T1.molecule_id = T2.molecule_id
INNER JOIN connected AS T3 ON T1.atom_id = T3.atom_id
WHERE T2.bond_type = '='
```

**🔍 错误分析**
当前的 SQL 使用了 `molecule_id` 将 `atom`(原子表)和 `bond`(化学键表)进行了直接关联 (`T1.molecule_id = T2.molecule_id`)。

1. **逻辑漏洞**:这种连接方式的真实语义是:“找出包含双键的分子,并返回该分子内的**所有原子**”。
2. **化学常识冲突**:假设数据库中存在一个丙烯(C3H6)分子,它包含碳碳双键(C=C),但也包含单键连接的氢原子(H)。按照当前 GT SQL 的逻辑,由于它们同属一个 `molecule_id`,未参与双键的氢元素(H)也会被错误地作为“处于双键中的元素”返回。而题目实际询问的是**精确构成了双键**的元素。
3. `connected` 表在当前 SQL 中仅仅验证了原子“存在连接”,并没有发挥其作为“图关系边”映射具体化学键的作用。

**✅ 修复建议**
正确的逻辑应当通过关系表 `connected` 作为桥梁,实现 `原子 (atom) -> 连接关系 (connected) -> 具体的键 (bond)` 的映射。

建议将 Ground Truth 替换为以下 SQL:

```sql
SELECT DISTINCT T1.element
FROM atom AS T1
JOIN connected AS T2 ON T1.atom_id = T2.atom_id
JOIN bond AS T3 ON T2.bond_id = T3.bond_id
WHERE T3.bond_type = '='
```

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Évaluation

Cette issue n'a pas encore été évaluée.

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.