[TIL] 오예은_201214

## 키워드
`텍스트처리` `NLP` `token` `stopwords` `spacy`

## 배운 것
- 토큰: 자연어 처리에 사용되는 최소 단위의 단어, 형태소
- 토큰화: 필요없는 부호,기호를 제거한 후 리스트 등에 가장 작은 단어 형태로 저장
- 불용어(Stopwords): 접속사, 관사, 부사, 대명사, 일반동사 등 많이 쓰지만 의미 없는 단어
대부분의 NLP라이브러리가 일반적인 불용어 사전을 가지고 있음
- 어간(stem) 추출: 단어의 의미가 포함된 부분으로 접사등이 제거된 형태로 만듦
- 표제어(lemma) 추출: 단어를 기본 사전형 단어 형태로 변환

## 정체를 모르겠는 에러..
아마 구문 에러같은데.. 무슨 광고가 나온줄 알았다.
```py
KeyError: 'absolutely wonderful - silky and sexy and comfortable'
```
> `# Similar to Index.get_value, but we do not fall back to positional`
> 에러가 아니라 0번 인덱스 값이 출력된 것. for문을 잘못 사용해서 컬럼의 첫번째 값이 에러메시지로 출력된 것 같다.

## 느낀 점
- 정형화되지 않은 텍스트를 쉽게 처리할 수 있는 라이브러리가 있어서 신기했다.
- **정규표현식**이라는 것을 처음 접했는데 활용도가 꽤 많을 것 같다. 수업시간에 다룬 예시 외에 다른 것들도 찾아봐야겠다.
- 매번 느끼는 것이지만, 강의로 이해하는 것과 직접 해보는 것은 정말 큰 차이가 있는 것 같다. 여전히 코딩이 발목을 잡지만 분석 흐름과 그 과정을 통해서 분석할만한 거리를 찾아내는 것이 중요하다는 생각을 했다. 그래야 다음 번에 다른 곳에 활용하기도 수월하지 않을까!

This issue is a Korean TIL entry covering tokenization, stopwords, stemming, lemmatization, regex, and a Python KeyError example. It names no file, test, or requested change, so first confirm whether an edit is wanted and what content should be corrected; done would require an agreed documentation change.

Written by the indexing model from the issue text.