이진 분류기의 성능을 계산할 때 우리는 confusion matrix (혼동행렬) 을 그려 True positive, True negative, False positive, False negative를 확인하고 이를 통해 precision, recall, accuracy등을 확인할 수 있다.

그런데 만약 분류해야 할 클래스가 3개 이상이라면 어떻게 해야할까?

두 가지 방식이 있는데 바로 Microaveraging 과 Macroaveraging이다. 둘의 차이를 확인해보자. 

Macroaveraging

구하고 싶은 각각의 클래스에 대해서 성능을 계산한다. 그 이후 각 클래스에 대한 평균값이 최종 성능이 된다.

만약 클래스가 4개라면, 작은 confusion matrix 4개를 그리고, 이 4개에 대한 평균값으로 성능을 구할 수 있는 것이다.

Microaveraging

모든 클래스의 결과를 하나의 confusion matrix로 나타내어 각 성능을 구할 수 있는 방식이다.

Microaveraging 방식으로 계산된 score는 흔하게 나타나는 클래스에 대한 점수로 결정된다.

Statement = Proposition : 명제

- 정의: 참이나 거짓으로 판단할 수 있는 문장

- 종류

1) Universal Statement: 한 집합의 모든 요소에 대해서 참

2) Conditional Statement: 특정 조건만 포함

3) Existential Statement: 조건을 만족하는 요소가 1개 이상 있다.

4) Universal Conditional Statement: universal & conditional

5) Universal Existential Statement: 첫 부분은 universal, 두 번째 부분은 existential

6) Existential Universal Statement: 첫 부분은 existential, 두 번째 부분은 universal

Set : 집합

- 정의: 특정 조건을 만족하는 요소들의 모임

- ex) { x | 0 < x < 5 }

Russell's Paradox

R = {x | x is a set and x is not an element of itself}

정의에 따르면 R이 R의 요소라면, R은 R의 요소일 수 없다.

또한, R이 R의 요소가 아니라면, R은 R의 요소이다.

-> 모순적

Cartesian product

A X B : Cartesian product of A and B

B X A : Cartesian product of B and A

정의: A X B = {(x, y) | x is a member of A, y is a member of B}

ex) A = {1, 2} / B = {3, 4} -> A X B = {(1,3), (1,4), (2,3), (2,4)}

Relation

- 공집합이 아닌 집합 A에 대해 A에 대한 relation = A X A의 subset

- 종류

1) Reflexive

ex) A = {1, 2, 3, 4}일 때

R1 = { (1, 1), (2, 2) } 라면, 이 집합은 Reflexive하지 않다.

이유: (3, 3), (4, 4)가 없다.

R2 = { (1, 1), (2, 2), (3, 3), (4, 4), (2, 3) } 라면, 이 집합은 Reflexive하다.

이유: (1, 1)~(4, 4)가 모두 있다. (2, 3)은 상관이 없다.

2) Symmetric

ex) R3 = 공집합이라면, 이 집합은 Symmetric하다.

이유: 집합에서 요소들의 쌍이 없기 때문에

R4 = { (1, 2), (2, 1), (2, 2) } 라면, 이 집합은 Symmetric하다.

R5 =  { (1, 2), (2, 1), (2, 3) } 라면, (3, 2)가 없어 Symmetric하지 않다.

3) Transitive

R6 = { (1, 5), (5, 1), (1, 1) } 이라면 만족할 수 없다.

(1, 5), (5, 1) -> (1, 1) 이지만

(5, 1), (1, 5) -> (5, 5)도 있어야 하는데 없다.

최근에 바이오인포 쪽 랩에서 학부 연구생을 하게 되었는데, 생각보다 한국어 자료가 많지 않아서 남겨보는 기록!

틀린 설명이 있을 수도 있음 주의

DEG 분석이란?

DEG는 Differentially Expressed Gene의 약자!

유전자의 발현값을 측정하고 통계적 과정을 거쳐 대조군과 비교군 간에 발현이 유의한 유전자 후보군을 선정하는 방식이다. (출처)

DEG 분석을 위해서는 RNA-seq 데이터가 필요하다. DEG 분석을 위한 RNA-seq 데이터를 만드는 방법은 여러 가지가 있겠지만 내가 사용한 방법은 다음과 같다.

1) RNA-seq를 통해 얻은 fq 파일에서 필요 없는 adapter 등의 서열을 잘라냄.

2) TopHat2를 이용한 mapping 진행.

3) Cufflinks, Cuffdiff 등의 프로그램을 이용하여 발현량을 계산.

4) 데이터를 파싱 및 가공 (-> 이 과정에서 이미 작성된 코드를 이용했음)

4번 과정까지 끝내면 우리는 replicate 별 유전자의 발현량 정보를 이용하여 유의확률이나 FPKM, Fold Change 등의 값을 찾을 수 있다.

(FPKM = Fragments Per Kilobase of transcript per Million - transcript당 fragment의 수)

(Fold Change = Transgenic / Wild-type으로 계산)

Volcano Plot

Volcano Plot은 scatter plot의 일종이라고 생각하면 된다. 시키는 대로 그리면 화산이 분출하는 듯한(!) 모양이어서 Volcano Plot이다.

x축은 log2(Fold Change) 값을, y축은 -log(p-value)값을 나타낸다.

대충 그리면 이런 느낌이다. x=0을 기준으로 왼쪽은 log2(Fold Change) 값이 0보다 작으므로 down regulated gene, 오른쪽은 up regulated gene이라고 볼 수 있을 것이다.

보통 p<0.05를 유의하다고 보기 때문에 그 값을 만족 못하는 경우(회색 점들) 발현이 유의하다고 보지 않는다.

MA plot

RNA-seq의 Intensity-dependent ratio를 밝히고 시각화 하는데 매우 강력한 통계적 방법이다. (출처)

복잡하게 적혀있지만, 이 친구도 역시 scatter plot의 일종이라고 보면 될 것 같다.

x축에는 해당 유전자의 log2(FPKM)값의 평균을 나타내며, y축에는 log2(Fold Change)를 나타낸다. 예시 그림은 다음과 같다.

MA plot에서도 유의미(?)하지 않은 값들을 제거하는 과정을 거치는데 이 과정을 Volume Cut이라고 부른다고 한다.

무조건 들어맞는 기준은 없고 육안으로 살펴보면서 적당히 직선 x=n을 기준으로 오른쪽에 있는 값들만 사용할 수 있도록 해야한다.

보통은 MA plot을 먼저 그려서 volume cut을 정하고, 그 이후에 volcano plot을 그려서 Up/Down Regulated Gene을 구하는 듯...

그 다음엔 무엇을 해야 하지?

DEG 분석의 첫 걸음인 Up/Down Regulated Gene 찾기가 끝났다!

이제 이 정보를 DAVID, GOrilla, Revigo 등의 사이트에 입력해보면서 유전자 발현 차이를 확인해보면 된다.

이번 포스팅에서는 카테고리 (범주형) 자료 인코딩 방법 중 하나인 Mean Target Encoding에 대해 소개하고자 한다.

사실 나는 범주형 변수 인코딩 방법에 라벨인코딩과 원 핫 인코딩만 있는 줄 알았다.

그런데 이번 채무불이행 데이터를 분석할 때 내가 했던 절차들이 사실은 Mean Target Encoding이었다는 것을 알게 되어 놀랄 수밖에 없었다.

아무튼 본론으로 들어가자.

범주형 변수가 무엇인지는, 이전에 내가 작성하였던 글을 참고하면 좋을 것 같다.

https://iamnotwhale.tistory.com/5

간단히 말하자면, 범주형 변수는 범주/카테고리로 나눌 수 있는 데이터들이다.

예를 들어 성별이라는 데이터는 여성 또는 남성으로 분류될 수 있으므로 범주형 변수다.

범주형 변수의 하위 분류로 명목형 (여성, 남성), 순위형 (1등, 2등, 3등...) 을 분류할 수 있지만 이 글에서는 몰라도 된다.

범주형 변수는 대개 판다스 데이터프레임에서 object 형태로 주어진다. 이를 그대로 머신러닝 알고리즘에 투입할 수 없다. 왜냐하면 컴퓨터는 여성/남성이 무엇인지 구별할 수 없기 때문이다. 오로지 숫자 형태로 주어졌을 때만 해석할 수 있다.

따라서 우리는 컴퓨터가 이해할 수 있는 숫자 (int, float) 형태로 변환해야 하며, 이에 사용되는 것이 인코딩이다.

범주형 변수의 인코딩 방법으로는 여러가지가 제시될 수 있지만, 가장 대표적인 것은 Label Encoding, One-Hot Encoding일 것이다.

Label Encoding은 단순하게 여러 카테고리에 번호를 매긴다. 이 번호는 무엇이 더 낫고 별로이고 이런 정보를 갖지는 않는다. 그냥 1번 그룹, 2번 그룹 이런 느낌이라고 생각하면 된다.

하지만 이는 트리를 제외한 일반적인 머신러닝 알고리즘에서 좋은 성능을 내기 어렵기 때문에 자주 사용하지 않는다.

One-Hot Encoding은 하나의 칼럼만 Hot, 나머지는 Cold하다는 의미를 담고 있다.

무슨 뜻인지 바로 감이 안 올 수도 있어 다시 정리하자면, 범주형 변수 값들을 각각 새로운 컬럼으로 생성하고, 이 컬럼에 해당하는 속성을 가질 때 1, 아닌 건 전부 0으로 표시하는 것이다.

표로 설명하겠다.

이런 데이터가 있을 때, Color 칼럼에 원 핫 인코딩을 적용하면 다음과 같이 데이터프레임이 변환된다.

Color의 데이터 정보를 가지는 열을 각각 생성하여 정보를 나타낼 수 있다.

원 핫 인코딩은 라벨인코딩에 비해 성능은 높지만, 범주형 변수 값이 너무 많을 경우 차원이 지나치게 커져 성능이 낮아질 수 있다.

그럼 Mean Target Encoding은 어떨 때 사용하는가?

위에서 소개한 두 인코딩 방법은 단순히 분류에만 사용하고, Target과의 관계를 강조할 수 없다.

원 핫 인코딩의 경우 값이 많아지면 차원이 지나치게 커지는 문제도 있다.

이러한 문제들을 해결하기 위해 Mean Target Encoding을 이용한다.

간단하게 소개하자면 해당 칼럼의 같은 라벨을 갖고 있는 데이터들의 Target 값의 평균으로 인코딩할 수 있다는 것이다.

데이터를 그대로 올릴 수는 없겠지만, 채무불이행 데이터 중에는 Loan Title이라는 칼럼이 있고,

해당 칼럼의 라벨은 굉장히 다양하다.

'Credit card refinancing', 'Debt consolidation',
'Credit card refinance', 'Credit Card Consolidation',
'Debt Consolidation', 'Home improvement', 'Consolidation', 'Other',
'relief', 'debt consolidation loan', 'Major purchase', 'Loan',
'credit card refinance', 'Medical', 'Pool', 'Vacation',
'CC consolidation', 'Medical expenses', 'Moving and relocation',
'payoff', 'Personal Loan', 'debt consolidation', 'Debt Loan',
'House', 'consolidation loan', 'consolidate', 'Credit payoff',
'Bathroom', 'Green loan', 'Debt Payoff', 'Consolidate', 'Business',
'Lending Club', 'Refinance', 'Home Improvement',

너무 많아서 그냥 이정도만 갖고 왔다.

이러한 라벨들에 따라서 target (이 채무불이행 데이터의 경우 loan status) 값의 비율, 즉 평균을 구하고자 했다.

(평균은 값의 합/값의 개수인데, target이 0, 1로 구성되어 있기 때문에 평균이 데이터에서 1의 비율과 같아진다)

코드는 다음과 같이 작성했다.

# 데이터 불러오기
df = pd.read_csv("train_loan.csv")

# Target과 변수만 불러오기
data = df[['Loan Title', 'Loan Status']]

# Mean Target Encoding
ratio = pd.DataFrame(data.groupby('Loan Title').mean()).reset_index()

# 인코딩 결과 시각화
ratio.sort_values(by = 'Loan Status').plot.bar()
plt.show()

ratio라는 데이터프레임 칼럼에서 Loan Title 칼럼을 기준으로 groupby 메서드로 묶고, mean() method를 이용하여 Mean Target Encoding을 진행하였다.

시각화 결과는 다음과 같았다.

인코딩 결과로 클러스터링을 진행하거나 그대로 이용하면 된다.

나는 클러스터링까지 진행했다.

from sklearn.cluster import KMeans

inertia = []

for i in range(1, 11):
    kmeans_plus = KMeans(n_clusters = i, init = 'k-means++')
    kmeans_plus.fit(ratio)
    inertia.append(kmeans_plus.inertia_)

plt.plot(range(1,11), inertia, marker = 'o')

plt.xlabel('Number of clusters')
plt.ylabel('Inertia')
plt.show()

elbow method로, 클러스터 개수는 3개로 정하였다.

기존에 알고 있던 인코딩과 가장 큰 차이점은 Target 변수와의 관계까지 인코딩 과정에서 나타내고자 했다는 점이다.

Greedy Best-First Search

Evaluation Func & Heuristic Func

1. Evaluation func f(n)
   1. node n의 estimated cost
2. Heuristic func h(n)
   1. node n에서 goal state로 가는 가장 저렴한 비용의 추정치
   2. root-finding problem에서 각 도시별 직선거리 함수

Greedy Best-First Search

1. 정의: best-first search의 일종 → h(n) value가 가장 적은 노드를 확장
   1. table을 유지하는 경우 그래프 (중복을 고려)
   2. 없애는 경우 tree search (중복을 고려하지 않음)
2. 성능 평가
   1. Completeness → 사이클 발생
      1. Not complete: tree-like search
      2. complete: graph search
   2. Not cost-optimal
   3. Time Complexity: O(b^m)
   4. Space Complexity: O(b^m)

A* Search

1. 정의: f(n) = g(n) + h(n)을 evaluation function으로 이용
   1. g(n): n까지 오는 데 비용
   2. h(n): n부터 goal까지 가는 데 추정되는 비용
2. Admissible Heuristic Function
   1. goal에 도달하기 위한 비용을 절대 overestimate하지 않음
   2. h(n) <= h*(n) : h(n)은 실제 값
   3. admissible heuristic function을 이용한다면 A* search는 cost-optimal하다.
3. Consistent Heuristic Function
   1. consistent: 모든 노드 n과 a라는 행동으로 생성된 자식 n’이 있을 때
   2. h(n) <= c(n,a,n') + h(n') 성립
   3. consistent heuristic function을 이용한다면 A* search는 cost-optimal하다 → 모든 consistent heuristic은 admissible하다.
4. Search contours
   1. A*는 가장 적은 f-cost를 가진 frontier 노드를 확장하므로 등고선이 커지면서 cost가 점점 커지는 형태이다.
   2. 좋은 휴리스틱을 가졌다면, 등고선은 점점 goal state에 가까워질 것이며 최적 경로에 가까워질수록 더 좁아질 것이다.
5. Optimally Efficient → C* : optimal cost
   1. surely expanded: f(n)<C*
   2. depends: f(n)=C*
   3. never expended: f(n) > C*
6. Weighted A* Search
   1. 정의: C와 WC*사이의 cost를 가지는 해답을 찾는 것
   2. f(n)=g(n)+W*h(n)
   3. Suboptimal search techniques
      1. bounded suboptimal search: 실제 optimal cost의 1/2배 ..
      2. bounded-cost search: 실제 cost는 모르고 얼마 안에 도달하는 경로 찾기
      3. unbounded-cost search
      4. beam search: 메모리는 적게 유지 → 가장 좋은 score인 것만 유지하고 나머지는 가지치기
7. 성능 평가
   1. Complete
   2. Cost-optimal
   3. Time-complexity <= O(b^d)
   4. Space complexity <= O(b^d)

Iterative-Deepening A* Search

1. 정의 (IDA*)
   1. iterative deepening search + A* Search
   2. 이전 반복에서 cutoff를 초과하였던, f-cost가 가장 작은 임의의 노드를 cutoff → 기준보다 크지 않았다면 계속 내려감
2. 특징
   1. f-cost가 모두 정수일 때 잘 작동
   2. f-cost가 모두 다른 노드일 때, 반복 숫자가 결국 state수와 같아질 수 있다.

Recursive Best-First Search

1. 정의 (RBFS)
   1. recursive depth-first search + best-first search
   2. f-limit을 현재 노드가 초과한다면 다시 감아 내려가서 alternative path로 이동
2. 진행 과정
   1. 일단 처음 limit = 무한대
   2. 다음 경로 중 가장 작은 cost인 쪽을 선택, limit은 두 번째로 가장 작은 값으로 변경
   3. 내려가서 limit과 cost의 값을 비교 → cost가 limit보다 크면 해당 cost를 limit으로 변경하고, limit과 같은 cost를 가졌던 node를 확인
3. 성능 평가
   1. Complete
   2. Cost-optimal
   3. time complexity <= O(b^d)
   4. space complexity <= O(bd)
      • 지나치게 적은 메모리 사용 → 계속 같은 state를 반복하여 탐색

Simplified Memory-Bounded A* Search

1. 정의
   1. A* search를 메모리가 꽉 찰 때까지 진행
   2. 메모리가 꽉 찼다면 f-cost가 가장 큰 worst leaf node를 버림
   3. 잊어버린 노드의 값을 다시 부모에게 전달
2. 성능 평가
   1. Complete
   2. Cost-optimal
   3. time complexity <= O(b^d)
   4. space complexity <= O(b^d)