apache / apache/iceberg-cpp

Full Unicode case-mapping parity for case-insensitive field matching

オープン
#808 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
C++
スター
221
フォーク
124
平均マージ
1日 16時間
マージ済み PR(30日)
21

説明

### Context

Issue #613 asks for case-insensitive field matching consistent with iceberg-java and iceberg-python (both Unicode-aware), with `İ` (U+0130) as the example. PR #760 (Part of #613) made `StringUtils::ToLower` Unicode-aware using utf8proc **simple (1:1)** case mapping and added allocation-free ASCII fast paths.

This issue captures the **design and remaining plan** to reach full parity and tracks the follow-up PRs.

### Remaining gap

utf8proc's simple mapping still diverges from java for the few code points where simple ≠ full case mapping — chiefly `İ`:

| input | iceberg-cpp (simple) | iceberg-java `toLowerCase(Locale.ROOT)` / Python `str.lower()` |
|---|---|---|
| `İ` (U+0130) | `i` (U+0069) | `i̇` (U+0069 U+0307) |

So `EqualsIgnoreCase("İD", "id")` is **true** in iceberg-cpp but **false** in java/python — the inconsistency #613 is about.

### Design questions

- Match iceberg-java `toLowerCase(Locale.ROOT)` exactly; confirm the operation PyIceberg uses for matching and that it agrees.
- Full lowercase mapping vs. Unicode case folding: utf8proc offers full case folding (`utf8proc_map` + `UTF8PROC_CASEFOLD`); verify it reproduces the java/python result, or add a small explicit mapping.
- Keep the ASCII fast path; stream the non-ASCII path rather than materialize.

### Work Items

- [ ] Full case mapping to close the `İ` / java-parity gap
- [ ] Streaming / allocation-free non-ASCII comparison in `EqualsIgnoreCase` / `StartsWithIgnoreCase` (deferred from #760)

### References

- Issue: #613 (origin)

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

まず StringUtils::ToLower と PR #760 の EqualsIgnoreCase/StartsWithIgnoreCase パスを確認し、次に例 İ について utf8proc の完全なケースフォールディングを iceberg-java および PyIceberg と比較します。Java/Python 互換の完全なケースマッピング、維持された ASCII 高速パス、そしてストリーミングまたはアロケーションフリーの非 ASCII 比較パスが実現されれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
cpp
領域
backend
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
静か
明瞭さ
説明が足りない
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。