bigscience-workshop / bigscience-workshop/pii_processing
add custom lexicon
- Ngôn ngữ chính
- Python
- Star
- 9
- Fork
- 6
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
Add a custom lexicon to test_regex.py or even better to ontology_manager.py. Currently ontology_manager.py using a pattern match to find words potentially in a lexicon/ontology. You might want to have an exact dictionary to do a lexcion match, like "Barack Obama": "PUBLIC_FIGURE"}
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu bằng cách đọc test_regex.py và ontology_manager.py, đặc biệt là luồng pattern matching hiện tại cho các thuật ngữ từ điển hoặc ontology. Theo dõi cách một thuật ngữ được phát hiện được phân loại, sau đó xác định hành vi của từ điển tùy chỉnh bằng ví dụ được cung cấp và bổ sung coverage cho việc khớp chính xác. Được xem là hoàn tất khi các mục tùy chỉnh được nhận diện với các labels đã cấu hình mà không làm hỏng việc khớp hiện có.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python
- Lĩnh vực
- security
- Loại issue
- Tính năng
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100