학회에서 주어진 지문에 대한 객관식 질문을 생성하는 Question Generation NLP 프로젝트를 진행 중이다.

QG 프로젝트에 사용할 수 있는 대표적인 데이터셋을 소개하고자 한다.

1. SQuAD 

https://rajpurkar.github.io/SQuAD-explorer/

- 영어 머신러닝 Reading Comprehension 데이터셋 

- 버전: v1.1, v2.0

Stanford Question Answering Dataset (SQuAD)의 약자다. 우리는 QG 프로젝트에 사용했지만, 원래는 QA를 위한 데이터셋이다.

버전 v1.1의 경우에는 500+개의 아티클로 만들어진 100,000+개의 QA 쌍이 존재한다.

사이트에 들어가서 확인해보면, 예시 지문과 ground truth 데이터, 그리고 예측한 답 일부를 확인해볼 수 있다.

아무래도 대회 형식이다 보니까 다른 사용자들이 얼마나 답변을 잘 찾았는지 (높은 점수를 얻었는지) 스코어보드를 확인할 수 있다.

v1.1에는 답변할 수 있는 질문 데이터만 포함되어있다고 한다면, v2.0에는 일부러 답을 찾을 수 없는 문제까지 포함이 되어있다. 이럴 경우에 모델은 답을 찾을 수 없는 문제임을 인식할 수 있어야 한다고 한다.

QG 프로젝트에서는 지문과 질문만 사용하면 되니까 크게 상관은 없다.

2. KorQuAD

https://korquad.github.io/

- 한국어 머신러닝 Reading Comprehension 데이터셋

- 버전: v1.0, v2.0

SQuAD와 동일한 방식으로 만들어진 데이터셋이다. 대신 한국어로 되어있다는 차이가 있습니다. 위키피디아의 데이터를 활용하여 제작되었다고 한다. SQuAD v2.0은 v1.0과 다르게 1~2문단이 아닌 위키피디아 전체에서 답을 찾는다는 차이가 있다.

SQuAD와 KorQuAD는 동일한 어노테이션 구조를 가진 데이터셋이므로, 프로젝트를 진행할 때 원하는 언어가 영어인지 한국어인지에 따라서 적절하게 선택하여 프로젝트를 수행하면 된다.

이번 포스팅에서는 카테고리 (범주형) 자료 인코딩 방법 중 하나인 Mean Target Encoding에 대해 소개하고자 한다.

사실 나는 범주형 변수 인코딩 방법에 라벨인코딩과 원 핫 인코딩만 있는 줄 알았다.

그런데 이번 채무불이행 데이터를 분석할 때 내가 했던 절차들이 사실은 Mean Target Encoding이었다는 것을 알게 되어 놀랄 수밖에 없었다.

아무튼 본론으로 들어가자.

범주형 변수가 무엇인지는, 이전에 내가 작성하였던 글을 참고하면 좋을 것 같다.

https://iamnotwhale.tistory.com/5

간단히 말하자면, 범주형 변수는 범주/카테고리로 나눌 수 있는 데이터들이다.

예를 들어 성별이라는 데이터는 여성 또는 남성으로 분류될 수 있으므로 범주형 변수다.

범주형 변수의 하위 분류로 명목형 (여성, 남성), 순위형 (1등, 2등, 3등...) 을 분류할 수 있지만 이 글에서는 몰라도 된다.

범주형 변수는 대개 판다스 데이터프레임에서 object 형태로 주어진다. 이를 그대로 머신러닝 알고리즘에 투입할 수 없다. 왜냐하면 컴퓨터는 여성/남성이 무엇인지 구별할 수 없기 때문이다. 오로지 숫자 형태로 주어졌을 때만 해석할 수 있다.

따라서 우리는 컴퓨터가 이해할 수 있는 숫자 (int, float) 형태로 변환해야 하며, 이에 사용되는 것이 인코딩이다.

범주형 변수의 인코딩 방법으로는 여러가지가 제시될 수 있지만, 가장 대표적인 것은 Label Encoding, One-Hot Encoding일 것이다.

Label Encoding은 단순하게 여러 카테고리에 번호를 매긴다. 이 번호는 무엇이 더 낫고 별로이고 이런 정보를 갖지는 않는다. 그냥 1번 그룹, 2번 그룹 이런 느낌이라고 생각하면 된다.

하지만 이는 트리를 제외한 일반적인 머신러닝 알고리즘에서 좋은 성능을 내기 어렵기 때문에 자주 사용하지 않는다.

One-Hot Encoding은 하나의 칼럼만 Hot, 나머지는 Cold하다는 의미를 담고 있다.

무슨 뜻인지 바로 감이 안 올 수도 있어 다시 정리하자면, 범주형 변수 값들을 각각 새로운 컬럼으로 생성하고, 이 컬럼에 해당하는 속성을 가질 때 1, 아닌 건 전부 0으로 표시하는 것이다.

표로 설명하겠다.

이런 데이터가 있을 때, Color 칼럼에 원 핫 인코딩을 적용하면 다음과 같이 데이터프레임이 변환된다.

Color의 데이터 정보를 가지는 열을 각각 생성하여 정보를 나타낼 수 있다.

원 핫 인코딩은 라벨인코딩에 비해 성능은 높지만, 범주형 변수 값이 너무 많을 경우 차원이 지나치게 커져 성능이 낮아질 수 있다.

그럼 Mean Target Encoding은 어떨 때 사용하는가?

위에서 소개한 두 인코딩 방법은 단순히 분류에만 사용하고, Target과의 관계를 강조할 수 없다.

원 핫 인코딩의 경우 값이 많아지면 차원이 지나치게 커지는 문제도 있다.

이러한 문제들을 해결하기 위해 Mean Target Encoding을 이용한다.

간단하게 소개하자면 해당 칼럼의 같은 라벨을 갖고 있는 데이터들의 Target 값의 평균으로 인코딩할 수 있다는 것이다.

데이터를 그대로 올릴 수는 없겠지만, 채무불이행 데이터 중에는 Loan Title이라는 칼럼이 있고,

해당 칼럼의 라벨은 굉장히 다양하다.

'Credit card refinancing', 'Debt consolidation',
'Credit card refinance', 'Credit Card Consolidation',
'Debt Consolidation', 'Home improvement', 'Consolidation', 'Other',
'relief', 'debt consolidation loan', 'Major purchase', 'Loan',
'credit card refinance', 'Medical', 'Pool', 'Vacation',
'CC consolidation', 'Medical expenses', 'Moving and relocation',
'payoff', 'Personal Loan', 'debt consolidation', 'Debt Loan',
'House', 'consolidation loan', 'consolidate', 'Credit payoff',
'Bathroom', 'Green loan', 'Debt Payoff', 'Consolidate', 'Business',
'Lending Club', 'Refinance', 'Home Improvement',

너무 많아서 그냥 이정도만 갖고 왔다.

이러한 라벨들에 따라서 target (이 채무불이행 데이터의 경우 loan status) 값의 비율, 즉 평균을 구하고자 했다.

(평균은 값의 합/값의 개수인데, target이 0, 1로 구성되어 있기 때문에 평균이 데이터에서 1의 비율과 같아진다)

코드는 다음과 같이 작성했다.

# 데이터 불러오기
df = pd.read_csv("train_loan.csv")

# Target과 변수만 불러오기
data = df[['Loan Title', 'Loan Status']]

# Mean Target Encoding
ratio = pd.DataFrame(data.groupby('Loan Title').mean()).reset_index()

# 인코딩 결과 시각화
ratio.sort_values(by = 'Loan Status').plot.bar()
plt.show()

ratio라는 데이터프레임 칼럼에서 Loan Title 칼럼을 기준으로 groupby 메서드로 묶고, mean() method를 이용하여 Mean Target Encoding을 진행하였다.

시각화 결과는 다음과 같았다.

인코딩 결과로 클러스터링을 진행하거나 그대로 이용하면 된다.

나는 클러스터링까지 진행했다.

from sklearn.cluster import KMeans

inertia = []

for i in range(1, 11):
    kmeans_plus = KMeans(n_clusters = i, init = 'k-means++')
    kmeans_plus.fit(ratio)
    inertia.append(kmeans_plus.inertia_)

plt.plot(range(1,11), inertia, marker = 'o')

plt.xlabel('Number of clusters')
plt.ylabel('Inertia')
plt.show()

elbow method로, 클러스터 개수는 3개로 정하였다.

기존에 알고 있던 인코딩과 가장 큰 차이점은 Target 변수와의 관계까지 인코딩 과정에서 나타내고자 했다는 점이다.

다중공선성이란?

회귀분석을 할 때 다중공선성을 고려해야 한다고 하는데, 과연 다중공선성이란 무엇일까?

다중공선성(Multicollinearity)는 회귀분석 시 독립변수들 간의 강한 상관관계가 나타날 때를 일컫는 용어다. 만약 변수들 간 다중공선성이 높다고 판단되면, 이 변수들은 더이상 독립변수라고 보기 어렵다. 회귀분석의 전제인 독립변수 X들을 통해 Y를 예측한다는 가정이 성립할 수 없게 되므로 다중공선성은 회귀분석의 심각한 문제 중 하나로 손꼽힌다.

VIF

Variance Inflation Factor의 약자인 VIF는 한국어로 번역하면 분산 팽창 인수다. 이 값은 독립변수의 다중공선성을 판단하기 위한 지표로 사용되며 계산식은 다음과 같다.

r_i는 i번째 변수를 제외한 회귀식의 R^2값이다.

보통 VIF 값이 10을 초과하면 다중공선성이 유의미하게 높다고 판단하여 제거한다. 왜 하필 10일까?

VIF > 10 식을 위에 나온 수식으로 대체하여 계산할 경우, r_i > 0.9 라는 결과가 나온다. 즉 i번째 변수가 식에서 빠져도 나머지가 Y를 90% 이상 설명할 수 있다는 뜻이다. 즉 제거해서 다른 값들로 대체해도 유의미하게 예측이 달라지지 않는다.

VIF in python

파이썬에서 VIF를 구하기 위해 모듈을 이용한다.

from statsmodels.stats.outliers_influence import variance_inflation_factor as vif

특정 데이터프레임에서 독립변수별로 VIF를 구하는 방법은 다음과 같다.

vif_factors = [vif(X.values, i) for i in range(0, X.shape[1])]
vif_report = pd.DataFrame({"variable": X.columns, "VIF Factors": vif_factors})

vif_report는 각 독립변수별 VIF가 저장된 데이터프레임이므로, 이를 확인하면 어떤 독립변수의 VIF가 큰지 작은지 알 수 있다. 그것을 보고 VIF가 10을 초과한다면 값을 제거하면 된다.

다른 회귀분석에서도 다중공선성을 고려해야 할까?

이 부분에 대해서 명확한 답을 찾지 못했다. 인터넷 자료를 뒤져봐도 선형회귀를 제외한 다른 회귀분석(예를 들어 로지스틱 회귀)에 다중공선성을 고려해야하는지에 관한 문제에 모두 다른 답을 내놓았기 때문이다.

그렇지만 다중공선성의 본질과 회귀분석의 가정을 생각해본다면, 다중공선성으로 인해 독립변수들 간의 독립성이 보장되지 않을 가능성이 있으므로, 모든 회귀분석에서 다중공선성을 고려해야 할 것이라고 판단하였다.

사실 내 말이 옳지 않을 수도 있다. 이 부분은 논문 같은 자료를 더 찾아볼 필요가 있다.

선형 회귀 (Linear Regression) 란 무엇인가?

회귀란 x값에 대응하는 y값과 가장 가까운 값(y hat)를 출력하는 함수를 찾는 과정이다. 여기에서 사용하는 함수가 선형 함수라면 선형회귀라고 볼 수 있다.

선형회귀를 사용하는 이유는 그 단순함에 있다. 각 피쳐의 계수와 목표하는 변수 사이의 관계를 보다 더 직관적으로 표현할 수 있기 때문이다.

선형 회귀의 종류

- 단순 선형 회귀

피쳐(x)가 하나뿐인 모델이고 목표 변수와 피쳐가 같은 좌표평면에 나타나는 직선 형태이다. 단순 선형 회귀는 선형 사상에 부합한다. 

- 다중 선형 회귀

피쳐(x)가 여러 개인 모델로 다차원 공간에서 존재하는 직선의 형태로 표현된다. 마찬가지로 선형 사상에 부합한다.

- 다항 회귀 (Polynomial)

피쳐는 1개뿐이지만 다항식의 형태로 나타나므로 곡선의 형태로 표현된다. 다항 회귀의 경우 지수가 늘어날 때마다 급격히 복잡해지므로 회귀 모델에서 오버피팅(overfitting, 과적합)이 발생할 가능성이 높아진다. 

비용함수

머신러닝에서는 주어진 데이터를 모델에 투입함으로써 모델을 적합하게 만드는 학습과정을 거친다. 이때 제대로 적합이 되려면 모델의 예측값과 실제 값을 줄여야 한다. 모델의 예측값과 실제 값의 차이를 비교하는 함수를 비용(cost) 함수라고 부른다. 비용함수는 모델의 특성에 맞게 오차를 측정하는 역할을 하며, 보통 비용함수 값이 작을수록 오차가 작으며 모델이 잘 학습되었다는 것을 의미한다.

다음과 같은 비용함수를 사용할 수 있다.

단순 선형 회귀 구현

sklearn (싸이킷런) 을 이용한다. 모델 코드를 구현할 때 다음과 같은 모듈을 사용하였다.

from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import PolynomialFeatures
from sklearn.metrics import r2_score, mean_squared_error

학습, 검증 데이터를 분리하여야 하므로 다음과 같은 함수를 이용한다.

X_train, X_test, y_train, y_test = train_test_split(x, y, test_size = 0.2, random_state = 156)

x, y는 데이터에서 불러온 각각의 x, y 값들이다.

test_size는 검증 데이터로 분리할 데이터의 비율을 지정해준다. random_state는 아무 숫자나 적는다.

데이터셋들로 학습을 하려면 다음과 같은 과정을 거친다.

lr = LinearRegression(fit_intercept = True)
lr.fit(X_train, y_train)

fit_intercept를 True로 설정하여 단순 선형 회귀 모델에 b0값도 포함시킨다.

이후 lr.fit을 통해 학습시킨다.

lr.coef_ # b값들의 array
lr.coef_[0] # b1 값에 접근
lr.intercept_ # b0 값 (절편)에 접근

모델에서 coef_를 이용하면 b값들의 array를 구할 수 있고, index를 지정하여 각각에 접근할 수 있으며, intercept_는 절편, 즉 b0 값을 알려주는 메서드다.

y_train_pred = lr.predict(X_train)
y_test_pred = lr.predict(X_test)

train_r2 = r2_score(y_train, y_train_pred)
test_r2 = r2_score(y_test, y_test_pred)

lr.score(X_test, y_test)

predict 메서드를 이용하여 결과를 확인한다.

r2_score안의 파라미터는 실제 y값과 모델이 도출한 y hat 값을 받는다. r2_score가 반환하는 값이 클수록 잘 예측하였다는 뜻이다.

lr.score와 같은 방법으로도 test 결과를 확인할 수 있다.

다항 회귀 구현 - 2nd order Polynomial Regression

quad = PolynomialFeatures(degree = 2)
X_quad = quad.fit_transform(x)

quadratic regression은 2차 다항 회귀를 의미한다.

PolynomialFeatures는 파라미터를 degree로 받는데, 여기에 넣어주는 숫자에 따라서 다항회귀의 차수가 결정된다.

X_train, X_test, y_train, y_test = train_test_split(X_quad, y, random_state = 156)

plr = LinearRegression()
plr.fit(X_train, y_train)

y_train_pred = plr.predict(X_train)
y_test_pred = plr.predict(X_test)

plr.score(X_test, y_test)

train_test_split을 통해 학습, 검증데이터를 분리하고 데이터를 모델에 학습시킨다. 다음으로 모델이 얼마나 적합한지 평가할 수 있다.

만약 3차, 4차 등의 다항회귀를 해보고 싶다면 위에서 degree값만 변경시키고 나머지 과정은 똑같이 하면 된다.