회귀 분석(Regression)

숫자 값으로 떨어지는, 어떤 특정한 숫자 값을 예측하는 문제

종류

Ordinal Regression: 데이터 내 상대적 순서나 랭킹 예측, 음수 x, 소수점 x

ex) 강연 참석자의 선호도, URL 즐겨찾기 순서

 

Poisson Regression: 어떤 이벤트가 발생할 횟수 예측, 이산분포를 따르며 음의 정수값 x, 소수점 x

ex) 비행기 탑승에 따른 병원 방문 횟수

 

Fast Forest Quantile Regression: 값의 분산/분포 예측, 정확한 값을 알고 싶은게 아님

ex) 성적 예측을 통한 학생들의 발달 단계 평가

 

• 정확한 값, 판매량, 사이즈 등 예측은 아래 다섯 가지 사용 용이

Linear Regression: 가장 일반적인 선형 회귀 알고리즘, 어떤 알고리즘을 써야할지 잘 모를 때도 사용

Parameter 4개

 

Bayesian Linear Regression: 베이지안 접근법을 선형회귀에 적용. 앞에 일어났던 일에 영향을 완전히 받지 않는게 아니다 라는 접근 법

 

Neural Network Regression: 신경망 회로, 비선형 문제에 활용. 커스텀하기 좋음. Customizable algorithm

 

Decision Forest Regression: 의사 결정 트리, 이전 트리에 영향x 독립적으로 계산. 비선형 문제에 활용,

효율적인 메모리 사용 및 계산(Overfitting 주의)

 

Boosted Decision Tree Regression: 이전 트리에 종속되어 있어 메모리 사용이 큼. 정확도가 높음. 앙상블 모델에 활용

---

Multiple Linear Regression: y = k + ax0 + bx1 + cx2 + ... + nxn, 여러 개의 독립변수가 합쳐져 있는 모델

ex) 근무연수, 나이, 부서 등등에 따른 연봉

 

Multi Polynomial Linear Regression: 차수가 늘어남. 머신러닝은 상수와 계수가 1차원이면 모두 linear 라고 부름

Regression 성능 평가

p = 모델 예측 값(predicted value)

a = 데이터 실제 값(actual value)

 

Mean Absolute Error(MAE)
Root Mean Squared Error(RMSE)
Coefficient of Determination
Relative Absolute Error(RAE)
Relative Squared Error(RSE)

 

RMSE는 작은 에러들이 두드러져 보이는 효과를 줌

MAE, RMSE 가장 많이 쓰임. RAE는 0에 가까울수록 좋음, Coefficient of Determination은 1에 가까울수록 좋음