[Basics] Gaussian Process Regression 을 쉽게 설명해보겠습니다

(배경지식) Regression이란 무엇인가?

지도학습(supervised learning)은 결과의 치역이 어떤 집합 특성을 갖는지에 따라 크게 회귀(regression)와 분류(classification) 문제로 나누어진다. 분류 문제의 결과가 이산적인(discrete) 클래스 라벨이라면, 회귀 문제의 결과는 연속적인(continuous) 값으로 도출된다. 이번 글에서는 특별히 회귀 문제를 풀기 위한 가우시안 프로세스(gaussian process)에 대해 다루어 보기로 하겠다. 분류 문제를 풀기 위한 가우시안 프로세스는 나중에 따로 다루어 보도록 하겠다.

 

 

(배경지식) Multivariate Normal Distribution이란 무엇인가?

 정규 분포가 무엇인지에 대한 설명은 wikipedia 를 참고하기 바란다. 다변량 정규 분포는 두 개 이상의 확률변수가 상호의존적으로 정규분포를 따를 때 사용되는 확률분포이다. 이는 정규분포를 다차원 공간에 대해 확장한 일반적 형태를 말한다.  정규분포에서 각 변수는 평균과 공분산으로 특정되며, 이를 통해 분포의 형태를 결정한다. 다변량 정규분포에 대해 자세히 알아보고 싶다면 wikidocs 를 참고하기 바란다.

 

 

GP란 무엇인가?

Gaussian Process(GP)란, random process의 한 종류이다. 여기서 random process는 확률변수(random variable)들의 집합을 의미하는 추상적 개념인데, 이러한 집합 내부에 존재하는 모든 variable들이 다변량 정규 분포(multivariate normal distribution)를 따를 경우, 이 집합을 GP 라고 부른다.

 

"Gaussian process is a stochastic process

such that every finite collection fo those random variables has

a multivariate normal distribution."

 

 

GP의 목표는, 우리가 선택한 임의의 위치에서 관측될 데이터의 결과값 뿐만이 아니라 더 나아가 측정될 데이터의 정규분포(평균과 분산 수치)를 구함으로써, 그 데이터의 신뢰도라고 할 수 있는 불확실성(uncertantiy)를 함께 알아내는 것이다.

 

 

지도 학습의 핵심은 우리가 가지고 있는 데이터에 기반하여 모델을 추정하는 것이다. 그래야만 우리가 예측하고 싶은 관측 위치 x에서의 함수값 y를 예측할 수 있다. GP에서는 우리가 추정할 모델의 개략적인 형태를 정의하고 시작한다. 모델의 형태를 결정하는 것은 무엇일까? 바로 모델을 이루고 있는 변수들의 계수와 차수이다. 예를들어, 아래와 같이 $$y=2x+1$$

$$y=4x^3+3x^2$$

 

등 예측하고자 하는 모델의 형태는 다양할 수 있다. Bayessian non-regression 에서 모델 함수를 예측하는 가장 쉬운 방법은, 기저함수를 미리 결정해 두는 것이다. 그리고 그 함수들의 계수를 나타내는 벡터 w 를 정의하여, 우리가 추정할 모델 함수를 아래와 같이 기술한다.

$$f(\boldsymbol{x} )=\phi (\boldsymbol{x})^T \boldsymbol{w}$$

 

하지만 실제로 우리는 $$\phi(\boldsymbol{x})^T$$

 

이 기저함수를 알 수 없다. 아니, 알지 못한다. 알지 못하기 때문에 GP를 이용하고 있는 것이다. GP의 핵심은 바로 이 기저함수 대신에 Kernel 함수를 사용하는 것이다. Kernel 함수는 임의의 두 개의 데이터간의 covariance를 나타내는 함수로, 기저함수의 내적으로 나타내어진다. 이 kernal 함수를 이용하면 우리가 원하는 대로 어떤 위치 x에서 측정될 값 y의 정규 분포를 알 수 있는 것이다.

 

Kernel 함수에 대한 내용은 다음 포스트에서 다루려고 한다.

---

References

[1] 정규분포란?

https://en.wikipedia.org/wiki/Normal_distribution

Normal distribution - Wikipedia

[2] 다변량 정규분포란?
https://wikidocs.net/203075

06) 다변량 정규분포