[TIL] 김가연_201006

- **키워드**
- 데이터 전처리, 데이터 시각화, 이상치

- **배운 것**
- 에이터에는 결측치말고 이상치도 있다....! 이상치의 존재는 알고 있었지만 매일 결측치만 처리하다보니까 이상치를 신경을 덜 쓰고 있었는데 오늘 아주 열심히 이상치에 대해서 찾아봐야 했다.

- **더 알고 싶은 부분 / 공부하고 싶은 부분**
- 이번에는 이상치가 전체 데이터에서 차지하는 비율이 아주아주 작았고, 또 이상치를 반영할 필요가 있을지 고민하며 이상치의 발생 이유에 대해서 생각해봤을 때도 결국 해당 데이터는 내가 필요로 하는 데이터가 아니었기 때문에 제거를 해도 되었다. 그렇지만 앞으로 보게 될 다른 데이터들은 이상치가 의미가 있는 경우도 있을 수 있고, 이상치의 양이 많을 수도 있으니까 이상치 처리 방법에 대해서 더 알아봐야겠다.

- **느낀 점**
- 오늘의 기분을 비유하자면 친구들한테 집들이 한다고 말한 후에 레시피도 열심히 찾아보고 장도 열심히 봐서 재료도 열심히 손질하고 요리랍시고 만들어 봤는데, 막상 차리고 나니 별 볼 일 없어서 친구가 '너 여태까지 뭐한거야...?' 라고 한 느낌이었다. 데이터의 양이 정말 정말 많았는데 데이터의 양만큼이나 전처리 해야할 것들도 많았다. 오늘은 분석에만 집중하고 싶어서 어제 전처리를 끝내두려고 했는데 끝났다고 생각하고 오늘 아침에 데이터를 들여다보니 보면 볼수록 새로운 게 나왔다. 오전 내내 '와 이제 전처리 다했어!' 하면 새로운 내용이 또 튀어나오고, '와 이젠 진짜 다했어!' 하면 또 새로운 게 튀어나왔는데 그러면서도 이게 다 의미있는 인사이트를 얻기 위함이야 라고 생각하면서 나름 재밌게 했다. 그런데 우여곡절 끝에 데이터를 분석이란 걸 할 수 있는 수준까지 만들어놨더니 막상 그 결과는 내가 생각한 것과 전혀 달랐다. 예전에 교수님께서는 당연한 것도 수치로 검증을 하는 건 별개의 문제이므로 가치없는 분석은 없다고 하셨고, 모든 가설이 반드시 맞을 필요는 없지만 그래도 뭔가 기대한대로 결과가 나왔으면 좋았을텐데 싶어서 슬펐다.