이번 포스팅에서는 카테고리 (범주형) 자료 인코딩 방법 중 하나인 Mean Target Encoding에 대해 소개하고자 한다.

사실 나는 범주형 변수 인코딩 방법에 라벨인코딩과 원 핫 인코딩만 있는 줄 알았다.

그런데 이번 채무불이행 데이터를 분석할 때 내가 했던 절차들이 사실은 Mean Target Encoding이었다는 것을 알게 되어 놀랄 수밖에 없었다.

아무튼 본론으로 들어가자.

범주형 변수가 무엇인지는, 이전에 내가 작성하였던 글을 참고하면 좋을 것 같다.

https://iamnotwhale.tistory.com/5

간단히 말하자면, 범주형 변수는 범주/카테고리로 나눌 수 있는 데이터들이다.

예를 들어 성별이라는 데이터는 여성 또는 남성으로 분류될 수 있으므로 범주형 변수다.

범주형 변수의 하위 분류로 명목형 (여성, 남성), 순위형 (1등, 2등, 3등...) 을 분류할 수 있지만 이 글에서는 몰라도 된다.

범주형 변수는 대개 판다스 데이터프레임에서 object 형태로 주어진다. 이를 그대로 머신러닝 알고리즘에 투입할 수 없다. 왜냐하면 컴퓨터는 여성/남성이 무엇인지 구별할 수 없기 때문이다. 오로지 숫자 형태로 주어졌을 때만 해석할 수 있다.

따라서 우리는 컴퓨터가 이해할 수 있는 숫자 (int, float) 형태로 변환해야 하며, 이에 사용되는 것이 인코딩이다.

범주형 변수의 인코딩 방법으로는 여러가지가 제시될 수 있지만, 가장 대표적인 것은 Label Encoding, One-Hot Encoding일 것이다.

Label Encoding은 단순하게 여러 카테고리에 번호를 매긴다. 이 번호는 무엇이 더 낫고 별로이고 이런 정보를 갖지는 않는다. 그냥 1번 그룹, 2번 그룹 이런 느낌이라고 생각하면 된다.

하지만 이는 트리를 제외한 일반적인 머신러닝 알고리즘에서 좋은 성능을 내기 어렵기 때문에 자주 사용하지 않는다.

One-Hot Encoding은 하나의 칼럼만 Hot, 나머지는 Cold하다는 의미를 담고 있다.

무슨 뜻인지 바로 감이 안 올 수도 있어 다시 정리하자면, 범주형 변수 값들을 각각 새로운 컬럼으로 생성하고, 이 컬럼에 해당하는 속성을 가질 때 1, 아닌 건 전부 0으로 표시하는 것이다.

표로 설명하겠다.

이런 데이터가 있을 때, Color 칼럼에 원 핫 인코딩을 적용하면 다음과 같이 데이터프레임이 변환된다.

Color의 데이터 정보를 가지는 열을 각각 생성하여 정보를 나타낼 수 있다.

원 핫 인코딩은 라벨인코딩에 비해 성능은 높지만, 범주형 변수 값이 너무 많을 경우 차원이 지나치게 커져 성능이 낮아질 수 있다.

그럼 Mean Target Encoding은 어떨 때 사용하는가?

위에서 소개한 두 인코딩 방법은 단순히 분류에만 사용하고, Target과의 관계를 강조할 수 없다.

원 핫 인코딩의 경우 값이 많아지면 차원이 지나치게 커지는 문제도 있다.

이러한 문제들을 해결하기 위해 Mean Target Encoding을 이용한다.

간단하게 소개하자면 해당 칼럼의 같은 라벨을 갖고 있는 데이터들의 Target 값의 평균으로 인코딩할 수 있다는 것이다.

데이터를 그대로 올릴 수는 없겠지만, 채무불이행 데이터 중에는 Loan Title이라는 칼럼이 있고,

해당 칼럼의 라벨은 굉장히 다양하다.

'Credit card refinancing', 'Debt consolidation',
'Credit card refinance', 'Credit Card Consolidation',
'Debt Consolidation', 'Home improvement', 'Consolidation', 'Other',
'relief', 'debt consolidation loan', 'Major purchase', 'Loan',
'credit card refinance', 'Medical', 'Pool', 'Vacation',
'CC consolidation', 'Medical expenses', 'Moving and relocation',
'payoff', 'Personal Loan', 'debt consolidation', 'Debt Loan',
'House', 'consolidation loan', 'consolidate', 'Credit payoff',
'Bathroom', 'Green loan', 'Debt Payoff', 'Consolidate', 'Business',
'Lending Club', 'Refinance', 'Home Improvement',

너무 많아서 그냥 이정도만 갖고 왔다.

이러한 라벨들에 따라서 target (이 채무불이행 데이터의 경우 loan status) 값의 비율, 즉 평균을 구하고자 했다.

(평균은 값의 합/값의 개수인데, target이 0, 1로 구성되어 있기 때문에 평균이 데이터에서 1의 비율과 같아진다)

코드는 다음과 같이 작성했다.

# 데이터 불러오기
df = pd.read_csv("train_loan.csv")

# Target과 변수만 불러오기
data = df[['Loan Title', 'Loan Status']]

# Mean Target Encoding
ratio = pd.DataFrame(data.groupby('Loan Title').mean()).reset_index()

# 인코딩 결과 시각화
ratio.sort_values(by = 'Loan Status').plot.bar()
plt.show()

ratio라는 데이터프레임 칼럼에서 Loan Title 칼럼을 기준으로 groupby 메서드로 묶고, mean() method를 이용하여 Mean Target Encoding을 진행하였다.

시각화 결과는 다음과 같았다.

인코딩 결과로 클러스터링을 진행하거나 그대로 이용하면 된다.

나는 클러스터링까지 진행했다.

from sklearn.cluster import KMeans

inertia = []

for i in range(1, 11):
    kmeans_plus = KMeans(n_clusters = i, init = 'k-means++')
    kmeans_plus.fit(ratio)
    inertia.append(kmeans_plus.inertia_)

plt.plot(range(1,11), inertia, marker = 'o')

plt.xlabel('Number of clusters')
plt.ylabel('Inertia')
plt.show()

elbow method로, 클러스터 개수는 3개로 정하였다.

기존에 알고 있던 인코딩과 가장 큰 차이점은 Target 변수와의 관계까지 인코딩 과정에서 나타내고자 했다는 점이다.

다중공선성이란?

회귀분석을 할 때 다중공선성을 고려해야 한다고 하는데, 과연 다중공선성이란 무엇일까?

다중공선성(Multicollinearity)는 회귀분석 시 독립변수들 간의 강한 상관관계가 나타날 때를 일컫는 용어다. 만약 변수들 간 다중공선성이 높다고 판단되면, 이 변수들은 더이상 독립변수라고 보기 어렵다. 회귀분석의 전제인 독립변수 X들을 통해 Y를 예측한다는 가정이 성립할 수 없게 되므로 다중공선성은 회귀분석의 심각한 문제 중 하나로 손꼽힌다.

VIF

Variance Inflation Factor의 약자인 VIF는 한국어로 번역하면 분산 팽창 인수다. 이 값은 독립변수의 다중공선성을 판단하기 위한 지표로 사용되며 계산식은 다음과 같다.

r_i는 i번째 변수를 제외한 회귀식의 R^2값이다.

보통 VIF 값이 10을 초과하면 다중공선성이 유의미하게 높다고 판단하여 제거한다. 왜 하필 10일까?

VIF > 10 식을 위에 나온 수식으로 대체하여 계산할 경우, r_i > 0.9 라는 결과가 나온다. 즉 i번째 변수가 식에서 빠져도 나머지가 Y를 90% 이상 설명할 수 있다는 뜻이다. 즉 제거해서 다른 값들로 대체해도 유의미하게 예측이 달라지지 않는다.

VIF in python

파이썬에서 VIF를 구하기 위해 모듈을 이용한다.

from statsmodels.stats.outliers_influence import variance_inflation_factor as vif

특정 데이터프레임에서 독립변수별로 VIF를 구하는 방법은 다음과 같다.

vif_factors = [vif(X.values, i) for i in range(0, X.shape[1])]
vif_report = pd.DataFrame({"variable": X.columns, "VIF Factors": vif_factors})

vif_report는 각 독립변수별 VIF가 저장된 데이터프레임이므로, 이를 확인하면 어떤 독립변수의 VIF가 큰지 작은지 알 수 있다. 그것을 보고 VIF가 10을 초과한다면 값을 제거하면 된다.

다른 회귀분석에서도 다중공선성을 고려해야 할까?

이 부분에 대해서 명확한 답을 찾지 못했다. 인터넷 자료를 뒤져봐도 선형회귀를 제외한 다른 회귀분석(예를 들어 로지스틱 회귀)에 다중공선성을 고려해야하는지에 관한 문제에 모두 다른 답을 내놓았기 때문이다.

그렇지만 다중공선성의 본질과 회귀분석의 가정을 생각해본다면, 다중공선성으로 인해 독립변수들 간의 독립성이 보장되지 않을 가능성이 있으므로, 모든 회귀분석에서 다중공선성을 고려해야 할 것이라고 판단하였다.

사실 내 말이 옳지 않을 수도 있다. 이 부분은 논문 같은 자료를 더 찾아볼 필요가 있다.

1. 새 repository 생성

github에 로그인하여 상단 +버튼을 통해 새로운 repository를 생성한다.

README file 추가를 해두면 나중에 repository 설명 추가할 때 요긴하게 사용할 수 있다.

repository의 주소가 있어야 해당 repository에 파일 업로드가 가능하다.

2. 원하는 파일 위치에서 git 실행

https://git-scm.com/

위 페이지에서 git을 다운로드 받아 설치한다.

업로드를 원하는 파일이 있는 폴더를 열고 빈 공간에 마우스 우클릭을 하여 Git Bash Here를 클릭한다.

3. git init

창에 다음과 같이 입력한다.

git init

4. git add

git add test.txt

원하는 파일을 git add 다음에 입력해준다.

해당 위치의 모든 파일을 add하려면 . 만 입력하면 된다.

5. git commit

git commit -m "메시지 내용"

커밋할 준비를 한다. 적고 싶은 메시지 내용을 따옴표 안에 적는다.

6. git remote add origin

git remote add origin 주소

원격 저장소와 연결한다. 연결하고자 하는 내 github repository 주소를 복사해서 붙여넣으면 된다.

단! git 프로그램에서 Ctrl+V는 작동하지 않으니 마우스 우클릭으로 붙여넣자.

8. git push

git push origin master

대망의 push 작업! 원격 저장소에 우리가 추가해뒀던 파일들을 업로드하자.

main 부분에 다른 branch 이름을 적으면 그 branch로 업로드가 된다.

https://github.com/iamnotwhale/testtest

업로드 성공한 것을 확인할 수 있다.

아직도 git 쓰면서 오류 많이 나오는 나지만 ㅠㅠ 일단 업로드 과정이라도 덜 헷갈리라고 작성해본다.

다음에는 내가 git 사용하면서 만난 오류들에 대해서 포스팅해봐야겠다.

데이터의 종류

데이터는 크게 범주형, 수치형 두 가지 분류로 나눌 수 있다.

범주형 데이터는 범주/카테고리를 구분하는 각각의 이름을 갖는 데이터 종류다.

ex) 성별 - 여성, 남성 / 학력 - 초졸, 중졸, 대졸, 대학원졸 / 출신 학교 - 고려대학교, 연세대학교, ...

반면 수치형 데이터는 말그대로 숫자로 표시되는 자료들이다.

ex) 나이 - 1살, 2살, ... / 키 - 160cm, 161cm, ... / 몸무게 - 50kg, 51kg, ...

범주형 데이터(질적 자료)

범주형 데이터는 또 순위형, 명목형이라는 두 가지 하위 분류로 다시 나누어진다.

순위형 데이터는 각 데이터별로 순위가 나누어져 있는 데이터들이다.

예를 들어 만족도 데이터를 생각해보면, 5점과 1점은 동등한 자격을 갖는 데이터가 아니다. 보통 5점이 1점보다 더 높은 순위를 가지기 때문이다. 따라서 만족도 데이터는 순위형 데이터이다.

명목형 데이터는 반대로 각 데이터별 순위가 없는 데이터이다.

성별 데이터는 여성과 남성으로 이루어지는데 둘 사이의 순위를 매길 수 없으므로 명목형 데이터이다.

수치형 데이터(양적 자료)

수치형 데이터 역시 이산형, 연속형이라는 두 하위 분류로 나눌 수 있다.

이산형 데이터는 데이터와 데이터 사이에 끊어짐이 있다.

물건의 개수와 같은 예시를 들 수 있다. 1개와 2개 사이인 개수를 정의할 수 없으므로 물건의 개수는 이산형 데이터이다.

반면 연속형 데이터는 데이터와 데이터 사이에 끊어짐이 없다.

키는 160cm와 161cm 사이에 무수히 많은 값을 가질 수 있으므로, 연속적이라고 볼 수 있으며 따라서 연속형 데이터에 해당한다.

범주형 데이터 시각화

범주형 데이터를 시각화하기 위해서 seaborn, matplotlib을 이용한다.

import seaborn as sns
import matplotlib.pyplot as plt

상단의 파일을 사용하였다.

1) 범주형 변수 1개

범주형 변수를 시각화하기 위해서 막대그래프나 원그래프를 그릴 수 있다.

막대그래프의 경우 pandas의 기능 중 하나인 plot.bar()를 사용할 수 있다.

image = df['grade'].value_counts().plot.bar()

막대그래프를 그리는 다른 방법에는 seaborn의 카운트도표 sns.countplot()이 있다.

sns.countplot(x = 'grade', data = df)

원그래프는 plt.pie()를 이용한다.

plt.pie(x = df['grade'].value_counts(), labels = [1, 2, 3, 4, 5], autopct='%.1f%%')

2) 범주형 변수 + 수치형 변수 시각화

① sns.lineplot(): 명목형 + 수치형(연속형 + 이산형)

② sns.scatterplot(): 명목형 + 수치형(연속형 + 연속형)

③ sns.barplot(): 명목형 + 연속형

④ sns.pointplot(): 명목형 + 연속형

⑤ sns.boxplot(): 명목형 + 연속형 

⑥ sns.violinplot(): 명목형 + 연속형

굉장히 다양한 방법으로 시각화가 가능하므로 때에 따라 적절하게 시각화 방법을 고르면 된다.

이중에서 scatterplot을 한 번 그려보자.

sns.scatterplot(x = 'weight', y = 'height', data = df, hue = 'grade')

weight와 height 사이의 scatterplot을 그렸지만, hue를 통해 grade별로 다르게 표시하였다.

grade는 범주형 변수이고 나머지는 수치형이므로 범주형, 수치형 사이 데이터를 시각화하는 방법이 될 수 있다.

수치형 데이터 시각화

1) 수치형 변수 1개

히스토그램을 그려서 수치형 변수를 시각화해보자. plt.hist()를 이용할 수 있다.

plt.hist(df['height'])

구간의 개수는 hist의 인자인 bins에 값을 넣어주면 된다.

히스토그램에 확률밀도함수를 추가하여 그리는 방법도 있다. sns.displot()를 이용하면 다음과 같다.

sns.distplot(df['weight'])

sns.boxplot()을 통해 박스플롯을 그릴 수 있다. min, max, Q1, Q2, Q3, outlier를 확인할 수 있다.

plt.figure(figsize = (6, 8))
sns.boxplot(y = 'weight', data = df)
plt.show()

2) 수치형 변수 2개

① sns.lineplot(): 연속형 + 이산형

② sns.scatterplot(): 연속형 + 연속형

③ sns.regplot(): 연속형+ 연속형

다양한 방법으로 시각화가 가능하다. 어떤 방법으로 시각화를 했을 때 데이터가 가장 잘 드러나는지는 연습해볼 필요가 있는 것 같다.

선형 회귀 (Linear Regression) 란 무엇인가?

회귀란 x값에 대응하는 y값과 가장 가까운 값(y hat)를 출력하는 함수를 찾는 과정이다. 여기에서 사용하는 함수가 선형 함수라면 선형회귀라고 볼 수 있다.

선형회귀를 사용하는 이유는 그 단순함에 있다. 각 피쳐의 계수와 목표하는 변수 사이의 관계를 보다 더 직관적으로 표현할 수 있기 때문이다.

선형 회귀의 종류

- 단순 선형 회귀

피쳐(x)가 하나뿐인 모델이고 목표 변수와 피쳐가 같은 좌표평면에 나타나는 직선 형태이다. 단순 선형 회귀는 선형 사상에 부합한다. 

- 다중 선형 회귀

피쳐(x)가 여러 개인 모델로 다차원 공간에서 존재하는 직선의 형태로 표현된다. 마찬가지로 선형 사상에 부합한다.

- 다항 회귀 (Polynomial)

피쳐는 1개뿐이지만 다항식의 형태로 나타나므로 곡선의 형태로 표현된다. 다항 회귀의 경우 지수가 늘어날 때마다 급격히 복잡해지므로 회귀 모델에서 오버피팅(overfitting, 과적합)이 발생할 가능성이 높아진다. 

비용함수

머신러닝에서는 주어진 데이터를 모델에 투입함으로써 모델을 적합하게 만드는 학습과정을 거친다. 이때 제대로 적합이 되려면 모델의 예측값과 실제 값을 줄여야 한다. 모델의 예측값과 실제 값의 차이를 비교하는 함수를 비용(cost) 함수라고 부른다. 비용함수는 모델의 특성에 맞게 오차를 측정하는 역할을 하며, 보통 비용함수 값이 작을수록 오차가 작으며 모델이 잘 학습되었다는 것을 의미한다.

다음과 같은 비용함수를 사용할 수 있다.

단순 선형 회귀 구현

sklearn (싸이킷런) 을 이용한다. 모델 코드를 구현할 때 다음과 같은 모듈을 사용하였다.

from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import PolynomialFeatures
from sklearn.metrics import r2_score, mean_squared_error

학습, 검증 데이터를 분리하여야 하므로 다음과 같은 함수를 이용한다.

X_train, X_test, y_train, y_test = train_test_split(x, y, test_size = 0.2, random_state = 156)

x, y는 데이터에서 불러온 각각의 x, y 값들이다.

test_size는 검증 데이터로 분리할 데이터의 비율을 지정해준다. random_state는 아무 숫자나 적는다.

데이터셋들로 학습을 하려면 다음과 같은 과정을 거친다.

lr = LinearRegression(fit_intercept = True)
lr.fit(X_train, y_train)

fit_intercept를 True로 설정하여 단순 선형 회귀 모델에 b0값도 포함시킨다.

이후 lr.fit을 통해 학습시킨다.

lr.coef_ # b값들의 array
lr.coef_[0] # b1 값에 접근
lr.intercept_ # b0 값 (절편)에 접근

모델에서 coef_를 이용하면 b값들의 array를 구할 수 있고, index를 지정하여 각각에 접근할 수 있으며, intercept_는 절편, 즉 b0 값을 알려주는 메서드다.

y_train_pred = lr.predict(X_train)
y_test_pred = lr.predict(X_test)

train_r2 = r2_score(y_train, y_train_pred)
test_r2 = r2_score(y_test, y_test_pred)

lr.score(X_test, y_test)

predict 메서드를 이용하여 결과를 확인한다.

r2_score안의 파라미터는 실제 y값과 모델이 도출한 y hat 값을 받는다. r2_score가 반환하는 값이 클수록 잘 예측하였다는 뜻이다.

lr.score와 같은 방법으로도 test 결과를 확인할 수 있다.

다항 회귀 구현 - 2nd order Polynomial Regression

quad = PolynomialFeatures(degree = 2)
X_quad = quad.fit_transform(x)

quadratic regression은 2차 다항 회귀를 의미한다.

PolynomialFeatures는 파라미터를 degree로 받는데, 여기에 넣어주는 숫자에 따라서 다항회귀의 차수가 결정된다.

X_train, X_test, y_train, y_test = train_test_split(X_quad, y, random_state = 156)

plr = LinearRegression()
plr.fit(X_train, y_train)

y_train_pred = plr.predict(X_train)
y_test_pred = plr.predict(X_test)

plr.score(X_test, y_test)

train_test_split을 통해 학습, 검증데이터를 분리하고 데이터를 모델에 학습시킨다. 다음으로 모델이 얼마나 적합한지 평가할 수 있다.

만약 3차, 4차 등의 다항회귀를 해보고 싶다면 위에서 degree값만 변경시키고 나머지 과정은 똑같이 하면 된다.