codestates / codestates/ds-TIL

[TIL] 김민채_201214

Open
#1,163 0 comments 0 reactions 0 assignees View on GitHub
DSFT01
Dominant language
No language data
Stars
2
Forks
1
PR merge metrics
No merged PRs in 30d

Description

### Today I Learn_70

**1. text preprocessing in NLP**
- 컴퓨터가 이해하고 학습 및 예측할 수 있는 상태를 만들기 위해 자연어 전처리
- feature transformer preprocessing pipeline 이라고 한다.
tokenization --> remove stopwords --> stemming / lemmatization --> normalization
- tokenizing (토큰화) 는 크게 2가지 방법으로 할 수 있다.
- python 에 내장된 기본 함수로 tokenizing ( .enumerate() , .split(), .lower()/.upper(), import re )
- NLP library (Spacy)로 tokenizing

**2. impression from Today**
- 확실히 section 3 보다는 나았다.
그렇지만 여전히 python 을 다루는 실력이 나아지지 않았고 (ㅎ) 처음 접하는 거라 따로 수업 노트를 복습하는데
오후 시간을 보냈다.
- 과제 자체가 복잡하게 되어있진 않은 것 같지만..(늘 그렇듯) 이제 겨우 복습을 마치고 Spacy 코스를 수강하려는
나에겐 조금 걱정이 되는건 당연지사..
- 그래도 전 세션보단 눈에 보이고 확인할 수 있는게 많아서 좋다.
- 이번에는 반드시 이번 주 내 과제는 이번 주에 끝내야지.

Contributor guide

No contributing guide indexed for this repository

Research direction

The issue body is the complete Today I Learn entry on NLP text preprocessing, including Python tokenization and spaCy references. Start by reviewing the entry for factual accuracy and completeness; done means the learning note is clearly structured and ready to publish, but no project files or tests are identified.

Written by the indexing model from the issue text.

Assessment

Tech stack
python
Domain
machine-learning
Issue type
Documentation
Difficulty
1/5
Estimated time
Under an hour
Activity status
Stale
Clarity
Needs clarification
Newbie friendliness
20/100

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.