[TIL]이동훈_122420

# 키워드
Hyper Parameter Tuning, (Neural Network)

# 리뷰
Backward Propagation # Again, ~Epic Fail~
(손실)Loss, (비용)Cost, (에러)Error function. Means the Same Thing
이외 많은것

# 배운것

1. 튜닝가능한 파라미터 옵션
---
batch_size
training epochs
optimization algorithms
learning rate
momentum
activation functions
dropout regularization
hidden layer의 neuron 갯수

2. Network Weight Initialization
---
c.f. Activation function에 따른 초기값 추천
① Sigmoid ⇒ Xavier 초기화를 사용하는 것이 유리
② ReLU ⇒ He 초기화 사용하는 것이 유리

3. Keras Tuner 를 사용한 파라미터 튜닝
---
과제를 하면서 더 리뷰해야 한다.

# 어려웠던 부분
편미분의 수식 이해 이외에는, 따라갈만 했던것 같다.

# 느낀 점
과제를 밀리지 않으려고 했지만, 다시 밀리기 시작했다.
수학을 볼때 마다, 마치 자동차의 헤드라이트에 눈이 먼 사슴과 같이 정지해 있다가.
치이는 느낌이다...