[ML] 선형 회귀(Linear Regression)

#ML

만약 철수가 공부한 시간 대비 점수를 가지고 학습을 시킨다고 가정하겠다.
training 데이터는 다음과 같다.

10시간 공부하면 90점이 나오고, 9시간 공부하면 80점이 나오고...

이러한 둘 이상 값들의 관계를 바탕으로 결과를 이끌어내는 통계적 방법을 회귀(Regression) 분석이라고 부른다. 이건 ML 전용 용어가 아니라 통계학에서 사용되던 개념이다.

아무튼 저런 데이터로 분석을 한다면, 존재하지 않는 x 값에 대해서도 어느정도 유추가 가능하다.
6시간을 투자했을 때(x=6) 점수가 얼마나 나올지 물어본다면 그 값의 비율을 계산해서 65-70 정도 나올 것이라고 말할 것이다.

이 방법을 선형적으로 예측을 한다는 점에서 선형 회귀(Linear Regression)라고 부른다.
또 그렇기 때문에 좌표로 나타내더라도 선형적인 그래프로 표현이 가능하다.

매우 단순하지만, 동시에 강력한 접근법이다.

가설 (Hypothesis)

회귀 분석법은 유추에 의한 분석법이기 때문에, 결과를 가설에 의존한다.
접근법에 따라 가설은 여러가지가 있을 수 있다.

아래는 3개의 가설을 그래프로 나타낸 것이다.

당연히 그냥 봤을때는 파란색의 가설이 가장 적합해보일 것이다. 실제 데이터와 일치도가 가장 높기 때문이다.

이렇게 실제 데이터와 일치도가 가장 높은 가설을 가려내는 것을 Cost function이라고 부른다.

Cost Function의 기본적인 원리는 그리 어렵지 않다.
가설과 실제 데이터의 간격을 계산하고 cost를 합산해서, 거리가 멀수록 패널티를 먹이는 것이다.

당연히 cost가 낮을 수록 좋은 가설이고, cost가 가장 낮은 가설을 찾는게 주요 목표가 된다.

식으로 나타내면 이렇다.

연구자가 아니라면 당장 다 이해할 필요는 없다.
구현하면서 보자