Loss란 정답과 예측값 간의 차이 –> 목적은 예측값이 정답과 같게 되는 것 즉 Loss를 0으로 만드는게 궁극적 목표.
objective function(optimal하게 만들고 싶은 목적이 되는 함수), cost function, loss function
(상위 개념)objective function >= cost function >= loss function
Mean Square Error(평균제곱오차)
(예측값 - 정답)에 제곱을 해준 값을 에러 값으로 판단하는 방식.
Cost function
데이터 전체에서 예측 값과 실제 값의 차의 평균 Cross Entropy는 Classification 문제에서 주로 사용되는 loss function 이다. 이에 파생되어 binary cross entropy 는 이진 분류에서 사용된다. categorical cross entropy는 다중 분류에서 사용. (마지막 dense를 레이블과 같게 해주면 된다) 반대로 MSE(평균제곱오차)는 주로 Regression 문제에서 사용된다. Cross entropy 값은 실제값과 예측값이 같을 경우 0으로 수렴하지만, 차가 커질 경우 무한대로 발산한다. 그래서 Cross entropy를 loss function으로 두어 활용한다.
loss function
loss function은 한 데이터 포인트에서 예측-실제 값의 차이 = loss 를 표현한 함수.(여러 종류의 함수가 존재한다) loss function은 파라미터 최적화(cost를 0으로 만들기 위한)를 위한 목적 함수이다. loss function는 목적에 따라 다르게 선택된다.(classification인지 regression인지)
Regression
“Regression toward the mean” 즉 평균으로 되돌아간다는 의미의 함축이 Regression이라 할 수 있다.
Transformer를 공부하기 위해 얻은 지식들