Data Science Analysis Pipeline

- Modeling: 예측을 할 수 있는 도구로 정보를 감싸는 과정

- 핵심 과정: building, fitting, validating the model

Philosophies of Modeling

1. Occam's Razor

- 14세기 영국 수도승

- 뜻: 가장 단순한 설명이 가장 좋다.

- 가장 적은 가정을 만드는 답을 선택해야 한다. -> 모델에서 parameter의 수를 줄여야 함을 의미

- LASSO/ridge regression 등의 머신러닝 기법은 피쳐를 최소화하기 위해 penalty function을 사용 -> 불필요한 coefficient를 최소화

2. Bias-Variance Tradeoffs

- "모든 모델은 틀리다. 그렇지만 어떤 모델은 유용하다."

- Bias: 모델에서 에러가 있는 가정으로부터 생성된 오류 -> underfitting; 가정 자체가 정답에서 멀어져 있는 경우 -> linear로 변환됨

- Variance: training set 안의 작은 변화에 민감함으로써 생기는 오류 -> overfitting; 가정 자체는 맞으나 변수의 퍼진 정도가 너무 큰 경우

3. Principles of Nate Silver

- 확률에 기반하여 생각하기

- 새로운 정보에 반응하여 예측을 바꾸기

- consensus를 추구하기

나의 모델에 대한 결과

- 모델로부터 1개의 결정론적인 예측을 요구하는 것은 불가능한 일이다.

- 좋은 예측 모델은 모든 가능한 경우에 대한 확률 분포를 제공

- logistic regression, k-nearest neighbor 등의 머신러닝 모델

Live Models

- 새로운 정보에 반응하여 에측을 꾸준히 변경하면 Live한 모델이라고 한다.

- 에측이 정확한 답으로 수렴하는가? / 이전 예측을 보여줘서 모델의 일관성을 판단할 수 있게 하는가? / 모델이 더 최근 데이터로 다시 학습되는가?

Consensus 추구

- Google Flue Trends: illness term에 대한 검색 빈도를 이용하여 flu 발생을 예측 -> 구글이 검색 제안 기능을 도입하고 실패함

- 비교 가능한 경쟁 예측이 있는가? / baseline model이 하는 말이 무엇인가? / 예측을 하는 접근 방법이 서로 다른 여러 개의 모델을 사용하는가?

- Boosting, Bagging: 분류기의 ensemble을 명시적으로 합하는 머신러닝 기술

Taxonomy of Models

1. Linear vs. Non-linear Model

- Linear: 각각의 피쳐 변수를 coefficient로 중요도를 나타내는 식으로 나타냄 -> 이러한 값들을 더해 점수를 계산함

- Non-linear: 고차원의 polynomial, logarithm, exponential 등을 포함하는 식

2. Blackbox vs. Descriptive Model

- 모델은 대부분 설명적임 = 왜 그러한 결정을 내렸는지 설명함

- Linear regression model이 그 예시, 트리도 예시일 수 있음.

- Neural Network Model은 왜 그러한 결정을 내렸는지 알 수 없음.

-> opaque

3. First principle vs. Data-driven Model

- First principle: 시스템이 작동하는 방법에 대한 이론적인 설명을 기반으로 함 -> 시뮬레이션, 과학 공식

- Data-driven: input parameter와 outcome variables 사이의 관측된 데이터 상관성 -> 대부분의 기계학습 모델

- 좋은 모델은 둘을 적절히 섞었을 때 나옴

4. General vs. Ad Hoc Model

- 분류나 회귀 등의 머신러닝 모델은 general = 문제에 특정되는 아이디어가 아닌 특정 데이터만을 기반으로 함

- Ad Hoc Model은 특정 도메인의 지식을 이용 - 특별한 목적

5. Stochastic vs. deterministic

6. Flat vs. Hierarchical

모델평가 : Baseline

- simplest reasonable models to compare against

- 대표적인 예시 (복잡도 오름차순)

* uniform/random selection among labels

* training data의 가장 흔한 label

* 가장 성능이 좋은 single-variable model

* 이전 시간 포인트와 같은 label

* mean, median

* linear regression

* existing model: SOTA model...

- baseline 모델은 공정해야한다.

분류기 평가

- 이진 분류기에 의한 결과는 총 4가지가 나올 수 있음

Threshold Classifiers

- 적절한 threshold를 찾는 것이 중요

Accuracy

- 전체 예측에 대한 옳은 예측의 비율

- Accuracy가 높다고 하더라도 실제의 결과와는 차이가 있는 경우가 있으므로 정확도만으로 비교하는 것은 옳지 않다

- |P| << |N| 일 때 특히 부정확

Precision

Recall

F-score

- 조화평균은 산술평균보다 항상 작거나 같으므로 F-score가 높아지는 것을 방지

- 두 개의 점수가 높아야 최종적으로 F 값도 높아짐

Sensitivity vs. Specificity

- Sensitivity: True Positive Rate - 민감도

- Specificity: True Negative Rate - 특이도

- 암환자, 스팸 등에서 true label이 무엇인지는 내용의 긍부정이 아니라 우리가 타겟으로 하는 대상의 여부에 달린 것

종합적으로는!

- Accuracy: class size가 대체로 다를 때 잘못된 결과를 낳음

- Recall: 분류기가 균형이 잡혀있을 때 정확도와 같은 값이 됨

- High precision: 균형 잡히지 않은 class size에 대해서는 매우 달성하기 어려움

- F-score: 어떤 단일 통계량에 대해서는 좋은 결과를 냄, but 4개 값이 모두 분류기의 성능에 대해 설명할 수 있음

Receiver-Operator Characteristic (ROC) curves

- threshold 값이 바뀌면 recall/precision, TPR/FPR 값이 변한다.

- ROC curve 아래의 면적 = AUC는 정확도 판단 기준이 됨

복수 분류 시스템 평가

- class가 많아지면 분류가 더 어려워짐

- top-k success rate: first k개의 예측에 대해 성공할 경우 보상을 제공

(검색 결과: 예측한 가장 가능성이 높은 N개의 클래스와 동일한 실제 클래스의 표준 정확도)

Summary statistics: Numerical Error

- f: forecast, o: observation

- absolute error: (f-o)

- relative error: (f-o)/o -> 더 나은 결과

- 오류를 나타내는 여러 방법

* Mean or median squared error (MSE)

* Root mean squared error 

Error histograms

Evaluation Data

- out-of-sample prediction: 모델을 만들 때 본 적 없었던 데이터를 이용하여 결과를 도출

- training 60%, validation 20%, testing 20% 이런 식으로 데이터를 분할

- testing data는 다른 경우에 절대 보면 안 되고 딱 테스트 할 때만 볼 수 있도록 해야함.

Sins in evaluation

- training / test data를 서로 섞었는가?

- 나의 implementation에 오류가 있는가?

- 이러한 질문을 던져서 오류를 찾을 수 있다.

Cross-validation

- 데이터가 충분하지 않을 경우, 데이터를 k개로 쪼개서 k-1번째 데이터에 대해 학습을 진행, 나머지로 평가, 그리고 다른 데이터 조각으로 계속 반복 

- limiting case: leave one out validation 

- k-fold

Exploratory Data Analysis

- 데이터를 자세히 살펴보는 것이 중요한 이유

* 데이터 수집, 전처리에서의 실수 구별

* 통계적 가정을 어기는 경우를 파악

* 데이터 패턴 탐색

* 가설 설정

Anscombe's Quartet

- 같은 평균, 편차, 상관관계, 회귀직선을 가지지만 데이터의 분포 모양 자체가 매우 달라질 수 있음.

Mapping Data to Image

- 효율성 순위: 위치 > 길이 > 기울기, 각도 > 면적 > 색 진하기 > 색, 모양

- 면적, 색 진하기 데이터는 ordinal data에 사용 가능

- 원그래프는 면적과 각도를 같이 사용하지만, 도넛 그래프는 가운데가 비어있으므로 각이 생략된 형태다.

- 가장 비효율적인 시각화 사례

- 색의 우선순위를 결정

- 지나치게 복잡한 시각화는 좋지 않다. (하나의 그림에 너무 많은 정보를 담고 있는 경우, 색 순위를 구별하기 어려운 경우 등등)

Tufte's Design Principle

1. Maximize data ink-ratio

- data-ink ratio = data ink / total ink used in graphic

- 이 값이 최대한 1에 가까워져야 한다.

- 예시: 3D 막대 그래프를 2D로 변환하고, 그림자를 제거한다.

2. Minimize lie factor

- Lie factor = size of effect shown in graphic / size of effect in data -> 1에 가까워져야 한다.

- 실제보다 과장하여 그림을 그리는 경우

- 3D 그래프를 활용하여 값에 비해 그림이 더 커보이는 경우

3. Minimize chartjunk

- 불필요한 차원, 정보 전달용이 아닌 색 입히기, 과도한 격자무늬 및 데코레이션 등은 정보전달에 방해가 되는 요소.

- 격자 제거, 배경색 제거, 테두리 제거 등으로 시각화한 내용을 간단하게 만들자.

- 눈금의 경우 막대그래프 안에 표시하는 등 해서 더 줄일 수 있음.

- Matplotlib 등을 이용할 수 있다.

4. Use proper scales and clear labeling

- Scale Distortion: 눈금을 0부터 시작하지 않고 원하는 값에 포커스를 맞춰서 실제보다 차이를 더 크게 만들어버림.

ex) Bush Tax cuts expire~ -> 눈금은 항상 0부터 시작하도록 하자.

시각화 표의 종류

1. Bar Chart

2. Line Chart: 시간에 따른 트렌드의 변화

* Bar vs. Line: Line은 연결의 의미를 갖고 있으므로, Categorical data에 사용하면 안 된다.

* book rating을 비교하기 위해서 bar chart를 사용하지 마라.

* Banking to 45º: 2개의 line segment는 45도의 각에 가까워질수록 구별이 잘 된다.

* 너무 플랫한 그래프나 stiff한 그래프를 그릴 경우 그래프를 잘못 해석하게 될 수 있으므로, 45도를 유지하자.

3. Scatter Plots / Bubble Charts

- Scatter plot은 각각의 점의 값을 2D에서 보여주는 데 효과적

- 3, 4개의 변수를 갖고 있는 데이터셋은 bubble chart를 이용

- principle component analysis를 통해 고차원의 데이터를 2D로 투영할 수 있다.

- 점의 크기가 너무 커지면 overplotting이 발생하므로 점의 크기를 줄이자.

- 점이 한 군데에 너무 몰리면 Overplotting이 발생하므로 불투명도를 낮추자.

- heatmap: 빈도에 따라서 색을 달리하면 자료를 파악하기 더 쉽다.

- 점의 크기, 모양, 색을 달리하여 3차원의 자료를 시각화할 수 있다. -> Bubble Chart

* 3차원의 데이터라고 3D 공간에 나타내면 안 된다. 차원 축소를 하자.

4. Pie Chart

- Pie Chart vs. Bar Chart

* Pie Chart는 비율에 대한 질문에 대답하기 편리하다.

* Bar Chart는 실제 값에 대한 질문에 대답하기 편리하다.

5. Donut Chart

- 면적만 있으므로 pie chart에 비해 가독성이 떨어진다. 

6. Stacked Bar Chart

7. Stacked Area Chart

- Stacked Area Chart vs Line Graphs

* Stacked Area Chart에서는 각각의 성분이 차지하고 있는 비율 변화를 파악하기 쉽다.

* Line Chart에서는 각각의 성분의 절댓값을 파악하기 쉽다.

8. Histograms

- Bin Size가 중요하다.

- Count가 중요하다.

- 너무 잘게 쪼개면 값의 분포가 잘 드러나지 않을 수도 있다.

- Frequency vs. Density Histograms

* 각 항목의 수를 전체 수로 나누면 확률 밀도 plot을 만들 수 있다. -> 더 해석하기 쉽다.

9. Heat Maps

10. Box & Whisker Plots

- max, min, 4분위수, 중앙값 등을 파악할 수 있는 자료 

데이터 시각화를 위한 툴

- Excel: 가장 유명하지만 좋은 그래프를 만드는 것은 아님.

- R: 통계언어

- Matplotlib: 파이썬

Multivariate Data를 나타내기

- 작은 여러 개의 plot을 만들어서 표현하는 것이 좋은 방법이다.

- 예: 국가별 인구 분포 -> 국가별로 인구 분포를 만들어서 하나의 그림에 합친다.

Overinterpreting Variance

- 끝 부분 데이터가 요동치는 이유: gene마다 size가 모두 다르기 때문!

-> size가 큰 gene이 많지 않아서 경향을 파악하기 어려움.

비판적 시각으로 바라보기: 예쁜 데이터는 예쁜 시각화를 도출해낸다.

Central Dogma of Statistics

Statistical Data Distributions

- 모든 random variable은 특정 빈도/확률 분포를 갖는다.

- 종류: binomial distribution, normal distribution, poisson distribution, power law distribution

Classical Distribution의 중요성

- 실제로 사용하는 경우도 있음

- Closed-form formula(cdf, pdf), test(t-test) 등을 이용 가능

- 모양이 비슷하다고 이러한 분포와 같다고 생각하면 안 된다.

Binomial Distribution

- n개의 independent trial로 이루어진 실험 -> 2가지의 결과를 가져야 함

- 예: 동전 던지기

- 분포: 이산적이나 종 모양임 (또는 half-bell shape)

Normal Distribution

- 종 모양을 가짐

- 키, IQ 등.

- 평균과 표준편차로 나타낼 수 있음.

- 모든 종 모양 분포가 normal distribution은 아니다.

- n이 무한대로 발산하는 binomial distribution

- normal distribution을 갖는 변수들의 합은 normal하다.

- normal distribution의 mixture는 normal하지 않다.

-> 여성의 키, 남성의 키 각각은 정규분포지만, 전체 인구의 키는 정규분포가 아니다.

Lifespan Distribution

- 매일매일의 생존 확률이 p라면, n일동안 생존할 확률은 p^(n-1)*(1-p)

Poisson Distribution

- rare event에서의 interval의 빈도

Power law Distribution

- 정의: P(X=x) = cx^(-a)

* c: normalization 상수, a: exponent

* c: a가 주어지면, 확률들의 합은 1이어야 하므로 하나의 값으로 정해진다.

- 정규분포처럼 중앙에 밀집하지 않고 지속적으로 아주 큰 값을 갖는다.

- 80-20 rules: 20%의 X가 80%의 Y를 갖는다. -> 빈부 격차 등에서 소수의 부자들이 부를 독식한다 등등

ex) City Population - Power Law

: 부를 가진 사람이 점점 더 부자가 된다.

- x가 2배가 될 때, 확률은 2^a만큼 줄어든다.

- Power Law의 예시

1) x개의 링크를 가진 인터넷 사이트

2) 리히터 규모와 지진의 빈도

3) 단어 사용 빈도

4) x명을 죽인 전쟁의 수

Word Frequencies and Zipf's Law

- Zipf's law: k번째로 가장 인기 있는 단어는 가장 인기 있는 단어의 1/k번째 만큼 사용된다.

-> a = 1인 power law

-> 2x번째인 단어는 x번째 단어의 사용 빈도 * 1/2

Power Law의 특성

- 평균은 의미가 없다.

- 표준편차도 의미가 없다. 평균보다 훨씬 큰 값이 있기 때문에

- 중앙값은 의미가 있다.

- 분포는 scale invariant하다 = 확대한 분포의 일부가 전체 분포의 모양과 비슷해 보인다. 

통계학자 vs 데이터마이너

- 통계학자: 데이터에서 발견한 것이 중요한지에 관심

- 데이터마이너: 데이터에서 발견한 것이 흥미로운지 관심

- meaningful한 발견: 큰 데이터셋에서 강한 상관관계는 겉으로는 중요해보일 수 있으나, 문제는 더 세밀하게 봐야 할 수 있다.

Comparing Population Means

- T-test: 두 샘플의 평균 사이의 차이에 대해 평가

- 평균이 다르거나, 표준편차가 다를 경우 차이를 그냥 판단하기 쉽다.

T-test

- 2개의 평균은 상당히 다르다. 어떨 때?

* 평균의 차이가 비교적 클 때

* 표준편차가 충분히 작을 때

* 샘플이 충분히 클 때

- Welch's t-statistic

* s^2: sample variance

- t distribution table

* df: 자유도 (모집단의 개수가 n개일 때 자유도는 n-1이다)

* one tail일 때 t값의 기준이 낮아진다.

* 120일 때 1.98, 무한대로 발산하는 경우 1.96이 된다.

Kolmogorov-Smirnov Test (KS-test)

- 두 개의 cdf 사이의 최대 y-distance 차이를 이용해 확률 분포의 차이를 나타냄.

- max distance between two cdfs: D(C1, C2) = max|C1(x)-C2(x)| (-∞ <= x <= ∞)

- 유의수준 a일 때, D(C1, C2) > c(a)* √((n1+n2)/n1n2) 이면 다른 분포이다.

* c(a): table lookup으로 찾을 수 있음

Normality Testing

- 이론적인 분포에서 샘플링된 분포에 대해 KS-test를 수행할 수 있다.

Bonferroni Correction

- 0.05의 통계적 유의수준은 우연히 이 결과가 나타났을 확률이 1/20이라는 뜻이다.

-> 더 높은 기준으로 평가되어야 하는 이유

- n개의 가설 검정을 할 때, p-value는 a/n 수준이 되어야 한다. -> 그래야 a 수준에서 유의하게 고려될 수 있다.

Significance of Significance

- 충분히 큰 샘플 사이즈라면 극도로 작은 차이는 매우 유의하게 여겨질 수 있다.

- significance(유의성)은 분포 사이에 차이가 있다고 확신할 수 있는 정도를 측정하는 것이지, effect size나 importance/magnitude of difference를 측정하는 것이 아니다.

Effect Size 측정

- Pearson correlation coefficient: 0.2 = 작은 effect, 0.5 = 중간, 0.8 = 큼

- Percentage of overlap between distribution: 53% = 작음, 67% = 중간, 85% = 큼

- Cohen's d = (u- u')/sigma : small > 0.2, medium > 0.5, large > 0.8

Permutation test, p-values

- 데이터로 가설을 입증할 수 있다면, 랜덤하게 섞은 데이터셋으로도 가설이 입증되어야 한다.

- random permutation 사이의 실제 데이터 순위가 significance를 결정한다.

- (최소 1000번 이상-p value가 소수점 세자리까지 나온다) permutation을 많이 수행할 수록, significance가 더 중요해진다. 

알고리즘으로 설명할 경우 다음과 같다.

for i=1 to n do a[i]=i;
for i=1 to n-1 do swap(a[i], a[Random[i,n]);

*Random 함수에서 1~n번째 사이의 데이터를 골라서 섞으면 uniform하게 섞이지 않은 데이터가 된다.

Sampling from distributions

- 원형 데이터에서 반지름 길이와 각으로 랜덤하게 데이터를 고르면 중앙에 몰리는 값이 많아진다.

- (x, y)로 데이터를 찍어야 한다.

Sampling in One dimension

- 어떠한 확률분포에서든 샘플링을 하려면 cdf 형태로 바꿔서 추출하면 된다.

Statistical Hypothesis Testing

Central Limit Theorem

- random variable: 독립적이고 동질적으로 분포된 큰 수의 평균 (i.i.d.)

- random variable은 정규분포 되어있다고 근사할 수 있다.

- x1, ..., xn이 μ, σ^2로 된 random variable이고 n이 엄청 크다면

Z = 1/n * (x1+...+xn)은 근사적으로 정규분포를 갖는다. (평균 μ, 표준편차 σ^2/n)

- n이 엄청 커지면 Binomial(n, p)~Normal(np, np(1-p))으로 근사 가능하다.

(n 번의 독립적인 베르누이 시행의 합으로 된 랜덤 변수)

- 중심 극한 정리의 중요성: 다른 형태의 분포를 포함한 문제를 정규분포 형태로 적용 가능

Statistical hypothesis testing

동전 던지기에서 동전의 양면이 공평하지 않을 때를 가정해보면,

H0 (귀무가설, null hypothesis): 동전은 공평하다. == p=0.5이다.

H1 (대립가설, alternative hypothesis): 동전은 공평하지 않다. -> 우리가 입증하고 싶은 것

검증하는 방법은 다음과 같다.

- 동전을 n번 던져서 앞면이 나오는 횟수를 센다.

- 매번의 동전 던지기는 Bernoulli trial이므로, X는 Binomial(n, p)이다.

- CLT에 의해 X는 Normal(np, np(1-p))로 근사될 수 있다.

- 유의 수준을 결정: 1종 오류 (False Positive) 를 허용할 범위

- 유의수준을 0.05로 결정했다고 했을 때, 만약 앞면이 532번 나왔다고 하면, 4.63%에 속하는 범위이다. -> 유의한 수준의 결과이므로 H0을 기각하고 H1을 채택한다.

Error의 종류

Statistical Hypothesis Testing with p-value

- P-value: 확률(귀무가설(H0)이 옳다고 판단)

- 일반적인 경우 유의수준은 0.05 또는 0.01로 설정

- X = 530 일 때, p-value = 0.062, X = 532일 때 p-value = 0.0463

Confidence interval : 신뢰구간

1000번 중 529번 앞면을 보았을 때, p=0.529이다.

p_hat = 0.529
sigma_hat = math.sqrt(p_hat*(1-p_hat)/1000)
print normal_two_sided_bounds(0.95, p_hat, sigma_hat) # 0.95 = 유의수준

>>> [0.498, 0.560]
# 실제 p는 이 구간 안에 95% 확률로 존재한다.

Example: Running an A/B test

- 2개의 광고 중 클릭을 더 많이 유도하는 광고를 선택해야 함.

- Na = A 광고를 보는 사람의 수, na = A 광고를 클릭하는 사람의 수, pa = A 광고를 클릭할 확률

-> na/Na는 Normal(pa, pa(1-pa)/Na)로 근사될 수 있다. (이유: 베르누이 시행을 n 번 반복한 것이므로)

-> nb/Nb는 Normal(pb, pb(1-pb)/Nb)로 근사될 수 있다.

- 2개의 분포는 독립적이므로 두 개의 차이도 normal 해야 한다.

- H0을 pa=pb라고 가정해서 검정할 수 있다.

- 유의수준을 0.05라고 가정하고 해보자.

Scores and Rankings

- Scoring functions: 다차원 데이터를 단일 값으로 변경하여 특정 성질을 강조하는 방법

- Rankings: 점수를 정렬하여 항목의 순위를 매김

Assigning Grades 

- 학점은 scoring function으로 부여된다.

- 특징: 임의성 (교수님마다 기준이 다름), validation data 없음 ("옳은" 등급은 없음), general robustness (다른 수업이어도 학생마다 학점은 비슷비슷함)

Scoring vs. Regression

- gold standard/right answer가 없다.

- 머신러닝에서 선형 회귀 같은 경우는 scoring function을 학습시킬 수 있지만 보통 그러지 않는다.

BMI 지수

- BMI = mass / height^2

- BMI는 해석하기 쉽다.

- 운동선수의 BMI를 확인해봤을 떄, 농구선수는 비만인 비율이 낮고, 풋볼은 정상인 비율이 낮다.

Gold Standards and Proxies

- Gold standards: scoring goal을 반영하는, 우리가 맞다고 맞는 지표 또는 정답

- Proxies: 측정하고자 하는 것과 관련된 접근가능성 있는 자료

ex) GPA -> 수업에 얼마나 잘 참여하고 있는지 판단하는 자료로 사용

Scoring vs. Machine Learning

- gold standard가 있다면 정확하게 값을 예측하기 위해 regression function을 학습시킬 수 있음.

- proxy가 있다면 scoring function을 평가하는 것만 하면 된다.

Scores vs. Rankings

- 값이 독립적으로 표현될 수 있나? (351팀 중 111등 / RPI = 39.18)

- 값의 분포가 어떤가? (1등과 2등의 차이가 얼마인가?)

- 중앙값이나 극한을 생각할 것인가? (1등과 2등 차 vs 50등 51등 차?)

Recognizing Good Scoring Functions

- 쉽게 계산 가능하고 이해 가능

- Monotic interpretation 가능

- 이상치에 대한 만족할 만한 결과 도출

- 시스템적으로 정규화된 변수 이용

Normalization and Z-scores

Z_i = (X_i  - Xbar)/sigma

- 단위가 없어지도록 만들 수 있음

- 평균 0, 시그마 1

Advanced Ranking Techniques

- Linear combinations of normalized values

- Elo rankings

- Merging rank orderings

- Directed graph orderings

Binary Comparisons

- A팀과 B팀 사이의 비교

- 이러한 비교는 팀 사이 경쟁의 난이도가 차이가 있을 때 적합하지 않다.

Elo Rankings

- 같은 순위로 시작한 이후, 각 시합의 난이도를 반영하여 점수를 매기는 시스템

한 게임이 끝난 이후 값 (k*(Sa_ua))를 더하여 순위를 변경시키는 시스템이다.

- S_A: 경기에서 A팀이 얻은 점수. 보통 1점 -> 승, -1점 -> 패

- u_A: B와의 경기에서 A가 얻을 것이라고 에측되는 점수

* 약체인 팀을 상대할 때, 1에 가까운 값을 가지고, 강팀을 상대할 때 -1에 가까운 값을 가진다.

* 강팀을 상대해서 이겼을 때 등수에 크게 반영되어야 하므로

- k: 단일 경기에서 얻을 수 있는 최대 점수 조정

Expected Match Score

- P(A>B)가 A가 B를 이길 확률이라면, u_A는 다음과 같이 정의된다.

- 순위 매기는 시스템이 의미있다면, P(A>B)는 r(A)-r(B)의 함수가 되어야 한다.

* 만약 전적이 없는 경우 이길 가능성을 어떻게 판단할까?

-> ranking 차로 mapping을 해볼 수 있다. (잘 만든 시스템일 경우 잘 작동할 것이다.)

-> mapping을 하는 방법? Logit function 이용

Logit Function

f(0) = 1/2

f(∞) = 1

f(-∞) = 0 인 함수를 가리키며, 그 함수는 다음과 같다.

그래프를 살펴보면 다음과 같은 형태를 보인다.

x의 의미는 r(A)-r(B)이다.

Borda's method

- 여러 번의 경쟁이 있는 상황에서 사용할 수 있는 방법

- 순위(위치)에 따라 점수를 다르게 매겨주고, 총합 점수를 통해 rank를 결정

- Linear position weight는 모든 등수 사이에 같은 confidence가 있을 때에는 문제가 없으나, 보통 1등/꼴등 근처 구별이 중앙보다 쉬움

-> normally distributed weight를 사용해야 함

Directed Graph Orderings

- A>B를 edge(A, B)로 나타낼 수 있음

- inconsistency가 없다면, directed acyclic graph를 얻게 된다.

- Topologically sorting

뽑는 방법

1. incoming edge가 없는 A 노드를 선택 후 삭제

2. 다음 노드 중 incoming edge가 없는 노드를 고르고 삭제 -> 반복

결과) ABCGDEF or GABCDEF

Typical Data Science Pipeline

Data Munging / Data wrangling

- 데이터를 얻고 분석을 위해 준비/정리하는 것

데이터과학에 사용하는 언어

- Python: 라이브러리, 피쳐 등 포함 - regular expressions

* regular expression 예

    - [hc]at : hat or cat

    - .at : .자리에 아무거나 들어갈 수 있음

    - ab*c : b가 0개 이상 있어야 함

    - ab+c : b가 1개 이상 있어야 함

- R: 통계학자들이 주로 사용

- Matlab: 행렬

- Java/C++: 빅데이터 시스템을 위한 언어

- Excel: bread and butter toool

노트북 환경

- reproducible, tweakable, documented

- 데이터 파이프라인을 유지하기 쉽다.

데이터 수집

- Files (CSV, XML, JSON)

- Databases (SQL server)

- API: Application Programming Interface

- Web Scraping (HTML)

데이터 형식

1. CSV (Comma-Separated Values)

2. XML (eXtensible Markup Language)

<student>

    <name> 000 </name>

    <age> 19 </age>

</student>

이런 식으로 <>, </> 로 구분 가능

3. JSON (JavaScript Object Notation)

{

    "a": {

             "name": 000,

             "age": 19

            }

... 이런 식으로, {}와 따옴표 등으로 구분

CSV 파일에서 데이터 불러오기 - pandas 이용

import pandas
student_data = pandas.read_csv("student_table.csv")

Relational DB에서 데이터 불러오기

import pandas
student_data = pandas.read_sql_query(sql_string, db_uri)

SELECT * FROM student_table --전체 불러오기
SELECT studentid, name FROM student_table WHERE gpa > 3.5
--테이블에서 gpa>3.5인 학생들의 id와 이름 불러오기

SELECT S.name, A.name
FROM student_table S, advisor_table A
WHERE S.advisorid = A.id --학생의 지도교수 아이디가 지도교수 명단 아이디와 동일한 경우에 이름 쌍 출력

SELECT S.advisorid, avg(S.gpa)
FROM student_table S
GROUP BY S.advisorid --지도교수가 같은 학생들의 지도교수 아이디와 학생들 성적 평균 출력

SELECT S.advisorid, avg(S.gpa)
FROM student_table S
WHERE S.birthdate >= 2000/1/1 AND S.birthdate < 2010/1/1
GROUP BY S.advisorid

API를 이용하여 데이터 얻기

- REST (Representational State Transfer) API

import json
import requests

url = 'https://...format=json'

data = requests.get(url).text
parsed_data = json.loads(data)

Web Scraping

<html>
	<head>
    	<title> ... </title>
    </head>
    <body>
        <h1> hello world! </h1>
        <p> COSE471 data science </p>
    </body>
</html>

데이터의 원천

1. Proprietary Data Sources

- 기업이 수집하는 내부 데이터

- API로 제한적으로 공개할 수 있음

- 외부로 데이터 전체를 공개하기 어려운 이유: 비즈니스적 이유(경쟁사를 도와줄 수 있음), 프라이버시 이슈

- 예시: 2006년 AOL search log release

2. Government Data Sources

- 시, 국가 등에서 공개하는 오픈 데이터

- Freedom of Information Act: 데이터를 공개해달라고 요청할 수 있음

- 데이터가 공개될 때 프라이버시를 지켜야 함

3. Academic Data Sets

- 논문 등에서 발표하는 자료

4. Web Search/Scraping

- Scraping: 웹페이지에서 데이터나 텍스트를 추출하는 것

- 이미 API가 존재하는지, 누군가 이미 scraper를 작성해두었는지 확인하고 해야 함

5. Available Data Sources

- Bulk Downloads: 위키피디아, IMDB, Million Song Database

- API access: 뉴욕타임스, 트위터 등

6. Sensor Data Logging

- 이미지, 비디오 데이터: Flicker 이미지를 이용하여 날씨를 관측

- 휴대폰의 accelerometer를 이용하여 지진 관측

- 택시 GPS를 이용하여 교통 흐름 관측

- logging system 구축: 저장소가 저렴함

7. Crowdsourcing

- 위키피디아, Freebase, IMDB 등 여러 저자가 참여한 데이터

- Amazon Turk, CrowdFlower 등의 플랫폼에 돈을 지불하면 다수의 사람이 데이터를 모아올 수 있음

8. Sweat Equity

- 역사 자료 등은 종이, 피디에프 등의 형식으로 저장되어있어 변환이 필요함

Cleaning Data: Garbage In, Garbage Out

- 데이터 정리 중에 나타날 수 있는 문제

* artifact와 오류를 구별

* Data compatibility, unification

* 결측치 처리

* 미관측값 (0) 추정

* 이상치 탐지

Errors vs. Artifacts

- error: 데이터를 수집하는 과정에서 근본적으로 잃어버린 정보

- artifact: 데이터 처리 과정 중에 나타나는 시스템적인 문제

- sniff test: product를 가까이에서 조사하여 잘못되었다는 낌새를 알아차리는 방법

연도별 과학자의 첫 논문 발표자 수 관련 데이터

- PubMed를 이용하여 가장 자주 인용되는 과학자 100,000명의 첫 논문 발표 연도를 조사

- 예상 분포: 1960년에 몰려있고, 2023년에 가까워지면 0에 수렴하며, 그 중간은 일정하게 유지되는 그래프

(이유: 1960년부터 데이터를 수집했으므로 그 이전 논문들도 1960년으로 반영될 수 있으며, 최근에 가까워질수록 커리어가 적은 사람이 많아서 순위에 들지 못할 가능성이 높음)

- 실제 분포 (왼쪽)

1965년 이전 데이터는 수작업으로 하여 누락되었을 가능성 있음

2000년 이후 저자 이름 기록 방식이 변화로, 다른 저자지만 같은 저자로 인식할 수 있어 오류 발생

Data Compatibility

1. Unit Conversion

- 1999년 나사의 Mars Climate Orbiter가 사라짐

- 이유는 단위 차이 때문

- Z-score를 이용하면 단위가 사라지므로 유용

2. Number / Character Representation

- 1996년 Ariane 5 rocket 폭발: 64-bit float을 16-bit integer로 전환했기 때문

- 실제 수치의 integer 근사를 피할 것

- 측정값은 decimal number, count는 integer가 되도록 하자

- fractional quantities는 decimal 값으로 기록하자

3. Character Representations

- 텍스트 데이터의 인코딩 방식을 주의하자

- UTF-8: multibyte encoding for all Unicode characters

4. Name Unification

- 글 저자 기록 방식이 다 다를 수 있음. ex) Steve, Steven. S. 등등

- 이름을 같게 통일하자. 대소문자 변환, 미들네임 제거 등

- false positive와 negative 사이의 tradeoff

5. Time / Date Unification

- 날짜 통일: UTC 등 이용

6. Financial Unification

- Currency conversion: 환율을 이용

- 절대값 변화보다 returns / percentage change를 이용하자

- stock price를 올바르게 하자. (split(액면분할), dividends(배당))

- time value of money는 공정한 장기 비교를 위해 인플레이션의 correction을 해야 한다.

결측치 다루기

- 모른다고 하여 0으로 설정하는 것은 옳지 않다.

- 결측치 처리: 빈칸으로 두는 것보다 estimation, imputation이 필요하다.

Imputation methods

- Heuristic-based imputation: 평균수명을 반영하여 사망일자 예측

- Mean value imputation: 평균으로 대체

- Random value imputation: 난수로 대체 -> 통계적 평가에 imputation의 영향을 줄여줌

- Imputation by nearest neighbor: 가장 가까운 record를 이용하여 대체

- Imputation by interpolation: linear regression을 이용하여 대체 -> record에 빈 필드가 많이 없을 때

Outlier Detection

- 최댓값, 최솟값을 잘 확인하기

- Normally distributed data는 큰 outlier를 갖지 않는다. (k sigma from the mean)

- 그냥 삭제하지 말고 이상치가 생긴 이유를 생각하여 고치기

- 시각화를 통해 탐지하기 쉬움 (저차원인 경우만 가능)

- 클러스터링 했을 때 중심으로부터 멀리 떨어져있는 경우

Delete Outliers Prior to Fitting?

- 적합 이전에 이상치를 지우는 것은 더 나은 모델을 만들어내기도 한다.

ex) 이상치가 측정 오류로 생긴 것일 때

- 반대로 더 나쁜 모델을 만들어내기도 한다.

ex) 간단한 모델에 의해 설명되지 않는다고 해서 해당하는 점을 모두 지워버릴 경우