codestates / codestates/ds-TIL
[TIL] 김민채_201214
- Dominant language
- No language data
- Stars
- 2
- Forks
- 1
- PR merge metrics
- No merged PRs in 30d
Description
### Today I Learn_70
**1. text preprocessing in NLP**
- 컴퓨터가 이해하고 학습 및 예측할 수 있는 상태를 만들기 위해 자연어 전처리
- feature transformer preprocessing pipeline 이라고 한다.
tokenization --> remove stopwords --> stemming / lemmatization --> normalization
- tokenizing (토큰화) 는 크게 2가지 방법으로 할 수 있다.
- python 에 내장된 기본 함수로 tokenizing ( .enumerate() , .split(), .lower()/.upper(), import re )
- NLP library (Spacy)로 tokenizing
**2. impression from Today**
- 확실히 section 3 보다는 나았다.
그렇지만 여전히 python 을 다루는 실력이 나아지지 않았고 (ㅎ) 처음 접하는 거라 따로 수업 노트를 복습하는데
오후 시간을 보냈다.
- 과제 자체가 복잡하게 되어있진 않은 것 같지만..(늘 그렇듯) 이제 겨우 복습을 마치고 Spacy 코스를 수강하려는
나에겐 조금 걱정이 되는건 당연지사..
- 그래도 전 세션보단 눈에 보이고 확인할 수 있는게 많아서 좋다.
- 이번에는 반드시 이번 주 내 과제는 이번 주에 끝내야지.
Contributor guide
No contributing guide indexed for this repository
Research direction
The issue body is the complete Today I Learn entry on NLP text preprocessing, including Python tokenization and spaCy references. Start by reviewing the entry for factual accuracy and completeness; done means the learning note is clearly structured and ready to publish, but no project files or tests are identified.
Written by the indexing model from the issue text.
Assessment
- Tech stack
- python
- Domain
- machine-learning
- Issue type
- Documentation
- Difficulty
- 1/5
- Estimated time
- Under an hour
- Activity status
- Stale
- Clarity
- Needs clarification
- Newbie friendliness
- 20/100