[1팀] 가설과 비용함수

이 글은 Machine Learning(coursera)를 참고하여 작성하였습니다.

작성자 : 김예은

 

 

1. 가설 (Hypothesis)

우리가 예측하려는 대상 변수가 주택 예시와 같이 연속적일 때의 학습 문제를 '회귀 문제'라고 부른다. y가 소수의 불연속 값만 취할 수 있는 경우(예: 거주 지역이 주어지면 주거지가 주택인지 아파트인지 예측하려는 경우) 이를 '분류 문제'라고 한다.

 

지도학습 문제를 좀 더 공식적으로 설명하기 위한 우리의 목표는 주어진 훈련 세트에서 h(x)가 y의 해당 값에 대해 '좋은' 예측자가 되도록 함수 h:X→Y를 학습하는 것이다.

역사적 이유로 이 함수 h를 가설이라고 표현한다.

 

앞으로 우리는 X(i)를 i번째의 input값으로, Y(i)를 i번째의 output값으로 생각한다.

(X(i), Y(i))는 훈련 예제 이며, (X(i), Y(i)); i=1, ..., m 은 훈련 집합이라 부른다.

 

 

2. 비용함수 (Cost Function)

가설함수의 형태를 결정짓는 것은 매개변수(parameter)라 부르는 θ 이다. 우리는 이 θ값을 적절하게 조정하여 실제값 y에 가장 근접한 가설함수를 Training set을 이용하여 도출해야 한다.

 

비용함수를 사용하여 가설 함수의 정확도를 측정할 수 있다. 이것은 x의 입력과 실제 출력 y의 모든 가설 결과의 평균 차이를 취한다.

J함수를 통해 θ 0, θ 1의 값을 최소화 한다.

이 함수는 '제곱 오차 함수' 또는 '오차 제곱의 평균' 라고도 한다.

 

 

훈련 데이터 세트가 xy평면에 흩어져 있을 때, 우리는 직선을 만들려고 한다.

hθ(x)가 이러한 흩어져 있는 데이터 포인트들을 통과한다.

우리의 목표는 가능한 최고의 직선을 얻는 것인데, 가능한 가장 좋은 직선은 직선과 산점의 평균 제곱 수직 거리가 최소가 되도록 하는 것이다.

이상적으로는 직선이 훈련 데이터 세트의 모든 점을 통과해야 하나, 그러한 경우의 값은 J(θ0,θ1)값이 0이 될 것이다.

 

 

정리하자면 위 표와 같다. 우린 가설함수 h(x)를 구해야하고, 이 함수를 구할 때 비용함수 J를 활용할 수 가 있는데, J의 값이 작을수록 최고의 직선 h(x)를 얻는 다는 것과 같다.