Azure-Samples / Azure-Samples/azure-search-python-samples
msft analyzer tokenizer error
Đang mở
- Ngôn ngữ chính
- Jupyter Notebook
- Star
- 178
- Fork
- 310
- Merge trung bình
- 6 ngày 11 giờ
- Pull request đã merge (30 ngày)
- 2
Mô tả
API_Version='11.5.2'
Microsoft analyzer: en.microsoft
'presnell 4649 to 1 h56' --> only has token of '1 h56', no token of ' h56' we need token h56
'724 726-14-7024' --> only has token of '-7024', no token of '7024' we need token 7024.
Hướng dẫn đóng góp
Hướng nghiên cứu
Bắt đầu bằng cách tái hiện hành vi của tokenizer được mô tả cho API phiên bản 11.5.2 với Microsoft analyzer en.microsoft. So sánh các tokens được trả về cho cả hai ví dụ với các tokens h56 và 7024 ожида; issue không nêu file, test hoặc entry point nào cần kiểm tra.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- azure
- Lĩnh vực
- search
- Loại issue
- Lỗi
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 25/100