AppFlowy-IO / AppFlowy-IO/AppFlowy

[Bug] CJK full-text search does not work

オープン
#8,767 コメント 1 件 リアクション 1 件 担当者 1 名 @appflowy に割り当て済み GitHub で見る
主要言語
Dart
スター
76.6k
フォーク
6k
PR マージ指標
30日以内にマージされた PR はありません

説明

### Bug Description

The CJK full-text search is currently not functioning as expected.
This is likely due to the Tantivy index using the default tokenizer, which splits text only by whitespace and punctuation. Because CJK languages lack word-bounding spaces, the entire text might be getting indexed as a single giant token.

### How to Reproduce

1. Create a database containing Japanese text (e.g., "今日はいい天気です").
2. Search for a substring that is not at the beginning of the text (e.g., "天気").
3. Notice that no results are returned.

### Expected Behavior

Searching for any word or phrase present in a database record should return that record, regardless of its position within the string.

### Operating System

Windows 11

### AppFlowy Version(s)

0.12.1

### Screenshots

https://github.com/user-attachments/assets/dd1a5d64-bb30-49c0-b0eb-38b93f15d89c

### Additional Context

_No response_

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。