AlibabaResearch / AlibabaResearch/DAMO-ConvAI

Logical Error in BIRD-DEV Ground Truth SQL (Question ID: 207)

Đang mở
#227 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Python
Star
1.6k
Fork
250
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

**👋**
你们好!感谢团队为 Text-to-SQL 领域提供了如此优秀的数据集。
我在分析评测数据时,发现 BIRD-DEV 数据集中 `question_id: 207` 的标准答案存在表连接的逻辑错误,这会导致它返回错误的数据。

**🐛**
* **Database**: `toxicology`
* **Question ID**: 207
* **Question**: "What elements are in a double type bond?"
* **Evidence**: "double type bond refers to bond_type = '=';"

**❌ 当前的 Ground Truth SQL**
```sql
SELECT DISTINCT T1.element
FROM atom AS T1
INNER JOIN bond AS T2 ON T1.molecule_id = T2.molecule_id
INNER JOIN connected AS T3 ON T1.atom_id = T3.atom_id
WHERE T2.bond_type = '='
```

**🔍 错误分析**
当前的 SQL 使用了 `molecule_id` 将 `atom`(原子表)和 `bond`(化学键表)进行了直接关联 (`T1.molecule_id = T2.molecule_id`)。

1. **逻辑漏洞**:这种连接方式的真实语义是:“找出包含双键的分子,并返回该分子内的**所有原子**”。
2. **化学常识冲突**:假设数据库中存在一个丙烯(C3H6)分子,它包含碳碳双键(C=C),但也包含单键连接的氢原子(H)。按照当前 GT SQL 的逻辑,由于它们同属一个 `molecule_id`,未参与双键的氢元素(H)也会被错误地作为“处于双键中的元素”返回。而题目实际询问的是**精确构成了双键**的元素。
3. `connected` 表在当前 SQL 中仅仅验证了原子“存在连接”,并没有发挥其作为“图关系边”映射具体化学键的作用。

**✅ 修复建议**
正确的逻辑应当通过关系表 `connected` 作为桥梁,实现 `原子 (atom) -> 连接关系 (connected) -> 具体的键 (bond)` 的映射。

建议将 Ground Truth 替换为以下 SQL:

```sql
SELECT DISTINCT T1.element
FROM atom AS T1
JOIN connected AS T2 ON T1.atom_id = T2.atom_id
JOIN bond AS T3 ON T2.bond_id = T3.bond_id
WHERE T3.bond_type = '='
```

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.