Exploratory Data Analysis

- 데이터를 자세히 살펴보는 것이 중요한 이유

* 데이터 수집, 전처리에서의 실수 구별

* 통계적 가정을 어기는 경우를 파악

* 데이터 패턴 탐색

* 가설 설정

Anscombe's Quartet

- 같은 평균, 편차, 상관관계, 회귀직선을 가지지만 데이터의 분포 모양 자체가 매우 달라질 수 있음.

Mapping Data to Image

- 효율성 순위: 위치 > 길이 > 기울기, 각도 > 면적 > 색 진하기 > 색, 모양

- 면적, 색 진하기 데이터는 ordinal data에 사용 가능

- 원그래프는 면적과 각도를 같이 사용하지만, 도넛 그래프는 가운데가 비어있으므로 각이 생략된 형태다.

- 가장 비효율적인 시각화 사례

- 색의 우선순위를 결정

- 지나치게 복잡한 시각화는 좋지 않다. (하나의 그림에 너무 많은 정보를 담고 있는 경우, 색 순위를 구별하기 어려운 경우 등등)

Tufte's Design Principle

1. Maximize data ink-ratio

- data-ink ratio = data ink / total ink used in graphic

- 이 값이 최대한 1에 가까워져야 한다.

- 예시: 3D 막대 그래프를 2D로 변환하고, 그림자를 제거한다.

2. Minimize lie factor

- Lie factor = size of effect shown in graphic / size of effect in data -> 1에 가까워져야 한다.

- 실제보다 과장하여 그림을 그리는 경우

- 3D 그래프를 활용하여 값에 비해 그림이 더 커보이는 경우

3. Minimize chartjunk

- 불필요한 차원, 정보 전달용이 아닌 색 입히기, 과도한 격자무늬 및 데코레이션 등은 정보전달에 방해가 되는 요소.

- 격자 제거, 배경색 제거, 테두리 제거 등으로 시각화한 내용을 간단하게 만들자.

- 눈금의 경우 막대그래프 안에 표시하는 등 해서 더 줄일 수 있음.

- Matplotlib 등을 이용할 수 있다.

4. Use proper scales and clear labeling

- Scale Distortion: 눈금을 0부터 시작하지 않고 원하는 값에 포커스를 맞춰서 실제보다 차이를 더 크게 만들어버림.

ex) Bush Tax cuts expire~ -> 눈금은 항상 0부터 시작하도록 하자.

시각화 표의 종류

1. Bar Chart

2. Line Chart: 시간에 따른 트렌드의 변화

* Bar vs. Line: Line은 연결의 의미를 갖고 있으므로, Categorical data에 사용하면 안 된다.

* book rating을 비교하기 위해서 bar chart를 사용하지 마라.

* Banking to 45º: 2개의 line segment는 45도의 각에 가까워질수록 구별이 잘 된다.

* 너무 플랫한 그래프나 stiff한 그래프를 그릴 경우 그래프를 잘못 해석하게 될 수 있으므로, 45도를 유지하자.

3. Scatter Plots / Bubble Charts

- Scatter plot은 각각의 점의 값을 2D에서 보여주는 데 효과적

- 3, 4개의 변수를 갖고 있는 데이터셋은 bubble chart를 이용

- principle component analysis를 통해 고차원의 데이터를 2D로 투영할 수 있다.

- 점의 크기가 너무 커지면 overplotting이 발생하므로 점의 크기를 줄이자.

- 점이 한 군데에 너무 몰리면 Overplotting이 발생하므로 불투명도를 낮추자.

- heatmap: 빈도에 따라서 색을 달리하면 자료를 파악하기 더 쉽다.

- 점의 크기, 모양, 색을 달리하여 3차원의 자료를 시각화할 수 있다. -> Bubble Chart

* 3차원의 데이터라고 3D 공간에 나타내면 안 된다. 차원 축소를 하자.

4. Pie Chart

- Pie Chart vs. Bar Chart

* Pie Chart는 비율에 대한 질문에 대답하기 편리하다.

* Bar Chart는 실제 값에 대한 질문에 대답하기 편리하다.

5. Donut Chart

- 면적만 있으므로 pie chart에 비해 가독성이 떨어진다. 

6. Stacked Bar Chart

7. Stacked Area Chart

- Stacked Area Chart vs Line Graphs

* Stacked Area Chart에서는 각각의 성분이 차지하고 있는 비율 변화를 파악하기 쉽다.

* Line Chart에서는 각각의 성분의 절댓값을 파악하기 쉽다.

8. Histograms

- Bin Size가 중요하다.

- Count가 중요하다.

- 너무 잘게 쪼개면 값의 분포가 잘 드러나지 않을 수도 있다.

- Frequency vs. Density Histograms

* 각 항목의 수를 전체 수로 나누면 확률 밀도 plot을 만들 수 있다. -> 더 해석하기 쉽다.

9. Heat Maps

10. Box & Whisker Plots

- max, min, 4분위수, 중앙값 등을 파악할 수 있는 자료 

데이터 시각화를 위한 툴

- Excel: 가장 유명하지만 좋은 그래프를 만드는 것은 아님.

- R: 통계언어

- Matplotlib: 파이썬

Multivariate Data를 나타내기

- 작은 여러 개의 plot을 만들어서 표현하는 것이 좋은 방법이다.

- 예: 국가별 인구 분포 -> 국가별로 인구 분포를 만들어서 하나의 그림에 합친다.

Overinterpreting Variance

- 끝 부분 데이터가 요동치는 이유: gene마다 size가 모두 다르기 때문!

-> size가 큰 gene이 많지 않아서 경향을 파악하기 어려움.

비판적 시각으로 바라보기: 예쁜 데이터는 예쁜 시각화를 도출해낸다.

Central Dogma of Statistics

Statistical Data Distributions

- 모든 random variable은 특정 빈도/확률 분포를 갖는다.

- 종류: binomial distribution, normal distribution, poisson distribution, power law distribution

Classical Distribution의 중요성

- 실제로 사용하는 경우도 있음

- Closed-form formula(cdf, pdf), test(t-test) 등을 이용 가능

- 모양이 비슷하다고 이러한 분포와 같다고 생각하면 안 된다.

Binomial Distribution

- n개의 independent trial로 이루어진 실험 -> 2가지의 결과를 가져야 함

- 예: 동전 던지기

- 분포: 이산적이나 종 모양임 (또는 half-bell shape)

Normal Distribution

- 종 모양을 가짐

- 키, IQ 등.

- 평균과 표준편차로 나타낼 수 있음.

- 모든 종 모양 분포가 normal distribution은 아니다.

- n이 무한대로 발산하는 binomial distribution

- normal distribution을 갖는 변수들의 합은 normal하다.

- normal distribution의 mixture는 normal하지 않다.

-> 여성의 키, 남성의 키 각각은 정규분포지만, 전체 인구의 키는 정규분포가 아니다.

Lifespan Distribution

- 매일매일의 생존 확률이 p라면, n일동안 생존할 확률은 p^(n-1)*(1-p)

Poisson Distribution

- rare event에서의 interval의 빈도

Power law Distribution

- 정의: P(X=x) = cx^(-a)

* c: normalization 상수, a: exponent

* c: a가 주어지면, 확률들의 합은 1이어야 하므로 하나의 값으로 정해진다.

- 정규분포처럼 중앙에 밀집하지 않고 지속적으로 아주 큰 값을 갖는다.

- 80-20 rules: 20%의 X가 80%의 Y를 갖는다. -> 빈부 격차 등에서 소수의 부자들이 부를 독식한다 등등

ex) City Population - Power Law

: 부를 가진 사람이 점점 더 부자가 된다.

- x가 2배가 될 때, 확률은 2^a만큼 줄어든다.

- Power Law의 예시

1) x개의 링크를 가진 인터넷 사이트

2) 리히터 규모와 지진의 빈도

3) 단어 사용 빈도

4) x명을 죽인 전쟁의 수

Word Frequencies and Zipf's Law

- Zipf's law: k번째로 가장 인기 있는 단어는 가장 인기 있는 단어의 1/k번째 만큼 사용된다.

-> a = 1인 power law

-> 2x번째인 단어는 x번째 단어의 사용 빈도 * 1/2

Power Law의 특성

- 평균은 의미가 없다.

- 표준편차도 의미가 없다. 평균보다 훨씬 큰 값이 있기 때문에

- 중앙값은 의미가 있다.

- 분포는 scale invariant하다 = 확대한 분포의 일부가 전체 분포의 모양과 비슷해 보인다. 

통계학자 vs 데이터마이너

- 통계학자: 데이터에서 발견한 것이 중요한지에 관심

- 데이터마이너: 데이터에서 발견한 것이 흥미로운지 관심

- meaningful한 발견: 큰 데이터셋에서 강한 상관관계는 겉으로는 중요해보일 수 있으나, 문제는 더 세밀하게 봐야 할 수 있다.

Comparing Population Means

- T-test: 두 샘플의 평균 사이의 차이에 대해 평가

- 평균이 다르거나, 표준편차가 다를 경우 차이를 그냥 판단하기 쉽다.

T-test

- 2개의 평균은 상당히 다르다. 어떨 때?

* 평균의 차이가 비교적 클 때

* 표준편차가 충분히 작을 때

* 샘플이 충분히 클 때

- Welch's t-statistic

* s^2: sample variance

- t distribution table

* df: 자유도 (모집단의 개수가 n개일 때 자유도는 n-1이다)

* one tail일 때 t값의 기준이 낮아진다.

* 120일 때 1.98, 무한대로 발산하는 경우 1.96이 된다.

Kolmogorov-Smirnov Test (KS-test)

- 두 개의 cdf 사이의 최대 y-distance 차이를 이용해 확률 분포의 차이를 나타냄.

- max distance between two cdfs: D(C1, C2) = max|C1(x)-C2(x)| (-∞ <= x <= ∞)

- 유의수준 a일 때, D(C1, C2) > c(a)* √((n1+n2)/n1n2) 이면 다른 분포이다.

* c(a): table lookup으로 찾을 수 있음

Normality Testing

- 이론적인 분포에서 샘플링된 분포에 대해 KS-test를 수행할 수 있다.

Bonferroni Correction

- 0.05의 통계적 유의수준은 우연히 이 결과가 나타났을 확률이 1/20이라는 뜻이다.

-> 더 높은 기준으로 평가되어야 하는 이유

- n개의 가설 검정을 할 때, p-value는 a/n 수준이 되어야 한다. -> 그래야 a 수준에서 유의하게 고려될 수 있다.

Significance of Significance

- 충분히 큰 샘플 사이즈라면 극도로 작은 차이는 매우 유의하게 여겨질 수 있다.

- significance(유의성)은 분포 사이에 차이가 있다고 확신할 수 있는 정도를 측정하는 것이지, effect size나 importance/magnitude of difference를 측정하는 것이 아니다.

Effect Size 측정

- Pearson correlation coefficient: 0.2 = 작은 effect, 0.5 = 중간, 0.8 = 큼

- Percentage of overlap between distribution: 53% = 작음, 67% = 중간, 85% = 큼

- Cohen's d = (u- u')/sigma : small > 0.2, medium > 0.5, large > 0.8

Permutation test, p-values

- 데이터로 가설을 입증할 수 있다면, 랜덤하게 섞은 데이터셋으로도 가설이 입증되어야 한다.

- random permutation 사이의 실제 데이터 순위가 significance를 결정한다.

- (최소 1000번 이상-p value가 소수점 세자리까지 나온다) permutation을 많이 수행할 수록, significance가 더 중요해진다. 

알고리즘으로 설명할 경우 다음과 같다.

for i=1 to n do a[i]=i;
for i=1 to n-1 do swap(a[i], a[Random[i,n]);

*Random 함수에서 1~n번째 사이의 데이터를 골라서 섞으면 uniform하게 섞이지 않은 데이터가 된다.

Sampling from distributions

- 원형 데이터에서 반지름 길이와 각으로 랜덤하게 데이터를 고르면 중앙에 몰리는 값이 많아진다.

- (x, y)로 데이터를 찍어야 한다.

Sampling in One dimension

- 어떠한 확률분포에서든 샘플링을 하려면 cdf 형태로 바꿔서 추출하면 된다.

Statistical Hypothesis Testing

Central Limit Theorem

- random variable: 독립적이고 동질적으로 분포된 큰 수의 평균 (i.i.d.)

- random variable은 정규분포 되어있다고 근사할 수 있다.

- x1, ..., xn이 μ, σ^2로 된 random variable이고 n이 엄청 크다면

Z = 1/n * (x1+...+xn)은 근사적으로 정규분포를 갖는다. (평균 μ, 표준편차 σ^2/n)

- n이 엄청 커지면 Binomial(n, p)~Normal(np, np(1-p))으로 근사 가능하다.

(n 번의 독립적인 베르누이 시행의 합으로 된 랜덤 변수)

- 중심 극한 정리의 중요성: 다른 형태의 분포를 포함한 문제를 정규분포 형태로 적용 가능

Statistical hypothesis testing

동전 던지기에서 동전의 양면이 공평하지 않을 때를 가정해보면,

H0 (귀무가설, null hypothesis): 동전은 공평하다. == p=0.5이다.

H1 (대립가설, alternative hypothesis): 동전은 공평하지 않다. -> 우리가 입증하고 싶은 것

검증하는 방법은 다음과 같다.

- 동전을 n번 던져서 앞면이 나오는 횟수를 센다.

- 매번의 동전 던지기는 Bernoulli trial이므로, X는 Binomial(n, p)이다.

- CLT에 의해 X는 Normal(np, np(1-p))로 근사될 수 있다.

- 유의 수준을 결정: 1종 오류 (False Positive) 를 허용할 범위

- 유의수준을 0.05로 결정했다고 했을 때, 만약 앞면이 532번 나왔다고 하면, 4.63%에 속하는 범위이다. -> 유의한 수준의 결과이므로 H0을 기각하고 H1을 채택한다.

Error의 종류

Statistical Hypothesis Testing with p-value

- P-value: 확률(귀무가설(H0)이 옳다고 판단)

- 일반적인 경우 유의수준은 0.05 또는 0.01로 설정

- X = 530 일 때, p-value = 0.062, X = 532일 때 p-value = 0.0463

Confidence interval : 신뢰구간

1000번 중 529번 앞면을 보았을 때, p=0.529이다.

p_hat = 0.529
sigma_hat = math.sqrt(p_hat*(1-p_hat)/1000)
print normal_two_sided_bounds(0.95, p_hat, sigma_hat) # 0.95 = 유의수준

>>> [0.498, 0.560]
# 실제 p는 이 구간 안에 95% 확률로 존재한다.

Example: Running an A/B test

- 2개의 광고 중 클릭을 더 많이 유도하는 광고를 선택해야 함.

- Na = A 광고를 보는 사람의 수, na = A 광고를 클릭하는 사람의 수, pa = A 광고를 클릭할 확률

-> na/Na는 Normal(pa, pa(1-pa)/Na)로 근사될 수 있다. (이유: 베르누이 시행을 n 번 반복한 것이므로)

-> nb/Nb는 Normal(pb, pb(1-pb)/Nb)로 근사될 수 있다.

- 2개의 분포는 독립적이므로 두 개의 차이도 normal 해야 한다.

- H0을 pa=pb라고 가정해서 검정할 수 있다.

- 유의수준을 0.05라고 가정하고 해보자.

Scores and Rankings

- Scoring functions: 다차원 데이터를 단일 값으로 변경하여 특정 성질을 강조하는 방법

- Rankings: 점수를 정렬하여 항목의 순위를 매김

Assigning Grades 

- 학점은 scoring function으로 부여된다.

- 특징: 임의성 (교수님마다 기준이 다름), validation data 없음 ("옳은" 등급은 없음), general robustness (다른 수업이어도 학생마다 학점은 비슷비슷함)

Scoring vs. Regression

- gold standard/right answer가 없다.

- 머신러닝에서 선형 회귀 같은 경우는 scoring function을 학습시킬 수 있지만 보통 그러지 않는다.

BMI 지수

- BMI = mass / height^2

- BMI는 해석하기 쉽다.

- 운동선수의 BMI를 확인해봤을 떄, 농구선수는 비만인 비율이 낮고, 풋볼은 정상인 비율이 낮다.

Gold Standards and Proxies

- Gold standards: scoring goal을 반영하는, 우리가 맞다고 맞는 지표 또는 정답

- Proxies: 측정하고자 하는 것과 관련된 접근가능성 있는 자료

ex) GPA -> 수업에 얼마나 잘 참여하고 있는지 판단하는 자료로 사용

Scoring vs. Machine Learning

- gold standard가 있다면 정확하게 값을 예측하기 위해 regression function을 학습시킬 수 있음.

- proxy가 있다면 scoring function을 평가하는 것만 하면 된다.

Scores vs. Rankings

- 값이 독립적으로 표현될 수 있나? (351팀 중 111등 / RPI = 39.18)

- 값의 분포가 어떤가? (1등과 2등의 차이가 얼마인가?)

- 중앙값이나 극한을 생각할 것인가? (1등과 2등 차 vs 50등 51등 차?)

Recognizing Good Scoring Functions

- 쉽게 계산 가능하고 이해 가능

- Monotic interpretation 가능

- 이상치에 대한 만족할 만한 결과 도출

- 시스템적으로 정규화된 변수 이용

Normalization and Z-scores

Z_i = (X_i  - Xbar)/sigma

- 단위가 없어지도록 만들 수 있음

- 평균 0, 시그마 1

Advanced Ranking Techniques

- Linear combinations of normalized values

- Elo rankings

- Merging rank orderings

- Directed graph orderings

Binary Comparisons

- A팀과 B팀 사이의 비교

- 이러한 비교는 팀 사이 경쟁의 난이도가 차이가 있을 때 적합하지 않다.

Elo Rankings

- 같은 순위로 시작한 이후, 각 시합의 난이도를 반영하여 점수를 매기는 시스템

한 게임이 끝난 이후 값 (k*(Sa_ua))를 더하여 순위를 변경시키는 시스템이다.

- S_A: 경기에서 A팀이 얻은 점수. 보통 1점 -> 승, -1점 -> 패

- u_A: B와의 경기에서 A가 얻을 것이라고 에측되는 점수

* 약체인 팀을 상대할 때, 1에 가까운 값을 가지고, 강팀을 상대할 때 -1에 가까운 값을 가진다.

* 강팀을 상대해서 이겼을 때 등수에 크게 반영되어야 하므로

- k: 단일 경기에서 얻을 수 있는 최대 점수 조정

Expected Match Score

- P(A>B)가 A가 B를 이길 확률이라면, u_A는 다음과 같이 정의된다.

- 순위 매기는 시스템이 의미있다면, P(A>B)는 r(A)-r(B)의 함수가 되어야 한다.

* 만약 전적이 없는 경우 이길 가능성을 어떻게 판단할까?

-> ranking 차로 mapping을 해볼 수 있다. (잘 만든 시스템일 경우 잘 작동할 것이다.)

-> mapping을 하는 방법? Logit function 이용

Logit Function

f(0) = 1/2

f(∞) = 1

f(-∞) = 0 인 함수를 가리키며, 그 함수는 다음과 같다.

그래프를 살펴보면 다음과 같은 형태를 보인다.

x의 의미는 r(A)-r(B)이다.

Borda's method

- 여러 번의 경쟁이 있는 상황에서 사용할 수 있는 방법

- 순위(위치)에 따라 점수를 다르게 매겨주고, 총합 점수를 통해 rank를 결정

- Linear position weight는 모든 등수 사이에 같은 confidence가 있을 때에는 문제가 없으나, 보통 1등/꼴등 근처 구별이 중앙보다 쉬움

-> normally distributed weight를 사용해야 함

Directed Graph Orderings

- A>B를 edge(A, B)로 나타낼 수 있음

- inconsistency가 없다면, directed acyclic graph를 얻게 된다.

- Topologically sorting

뽑는 방법

1. incoming edge가 없는 A 노드를 선택 후 삭제

2. 다음 노드 중 incoming edge가 없는 노드를 고르고 삭제 -> 반복

결과) ABCGDEF or GABCDEF

Typical Data Science Pipeline

Data Munging / Data wrangling

- 데이터를 얻고 분석을 위해 준비/정리하는 것

데이터과학에 사용하는 언어

- Python: 라이브러리, 피쳐 등 포함 - regular expressions

* regular expression 예

    - [hc]at : hat or cat

    - .at : .자리에 아무거나 들어갈 수 있음

    - ab*c : b가 0개 이상 있어야 함

    - ab+c : b가 1개 이상 있어야 함

- R: 통계학자들이 주로 사용

- Matlab: 행렬

- Java/C++: 빅데이터 시스템을 위한 언어

- Excel: bread and butter toool

노트북 환경

- reproducible, tweakable, documented

- 데이터 파이프라인을 유지하기 쉽다.

데이터 수집

- Files (CSV, XML, JSON)

- Databases (SQL server)

- API: Application Programming Interface

- Web Scraping (HTML)

데이터 형식

1. CSV (Comma-Separated Values)

2. XML (eXtensible Markup Language)

<student>

    <name> 000 </name>

    <age> 19 </age>

</student>

이런 식으로 <>, </> 로 구분 가능

3. JSON (JavaScript Object Notation)

{

    "a": {

             "name": 000,

             "age": 19

            }

... 이런 식으로, {}와 따옴표 등으로 구분

CSV 파일에서 데이터 불러오기 - pandas 이용

import pandas
student_data = pandas.read_csv("student_table.csv")

Relational DB에서 데이터 불러오기

import pandas
student_data = pandas.read_sql_query(sql_string, db_uri)

SELECT * FROM student_table --전체 불러오기
SELECT studentid, name FROM student_table WHERE gpa > 3.5
--테이블에서 gpa>3.5인 학생들의 id와 이름 불러오기

SELECT S.name, A.name
FROM student_table S, advisor_table A
WHERE S.advisorid = A.id --학생의 지도교수 아이디가 지도교수 명단 아이디와 동일한 경우에 이름 쌍 출력

SELECT S.advisorid, avg(S.gpa)
FROM student_table S
GROUP BY S.advisorid --지도교수가 같은 학생들의 지도교수 아이디와 학생들 성적 평균 출력

SELECT S.advisorid, avg(S.gpa)
FROM student_table S
WHERE S.birthdate >= 2000/1/1 AND S.birthdate < 2010/1/1
GROUP BY S.advisorid

API를 이용하여 데이터 얻기

- REST (Representational State Transfer) API

import json
import requests

url = 'https://...format=json'

data = requests.get(url).text
parsed_data = json.loads(data)

Web Scraping

<html>
	<head>
    	<title> ... </title>
    </head>
    <body>
        <h1> hello world! </h1>
        <p> COSE471 data science </p>
    </body>
</html>

데이터의 원천

1. Proprietary Data Sources

- 기업이 수집하는 내부 데이터

- API로 제한적으로 공개할 수 있음

- 외부로 데이터 전체를 공개하기 어려운 이유: 비즈니스적 이유(경쟁사를 도와줄 수 있음), 프라이버시 이슈

- 예시: 2006년 AOL search log release

2. Government Data Sources

- 시, 국가 등에서 공개하는 오픈 데이터

- Freedom of Information Act: 데이터를 공개해달라고 요청할 수 있음

- 데이터가 공개될 때 프라이버시를 지켜야 함

3. Academic Data Sets

- 논문 등에서 발표하는 자료

4. Web Search/Scraping

- Scraping: 웹페이지에서 데이터나 텍스트를 추출하는 것

- 이미 API가 존재하는지, 누군가 이미 scraper를 작성해두었는지 확인하고 해야 함

5. Available Data Sources

- Bulk Downloads: 위키피디아, IMDB, Million Song Database

- API access: 뉴욕타임스, 트위터 등

6. Sensor Data Logging

- 이미지, 비디오 데이터: Flicker 이미지를 이용하여 날씨를 관측

- 휴대폰의 accelerometer를 이용하여 지진 관측

- 택시 GPS를 이용하여 교통 흐름 관측

- logging system 구축: 저장소가 저렴함

7. Crowdsourcing

- 위키피디아, Freebase, IMDB 등 여러 저자가 참여한 데이터

- Amazon Turk, CrowdFlower 등의 플랫폼에 돈을 지불하면 다수의 사람이 데이터를 모아올 수 있음

8. Sweat Equity

- 역사 자료 등은 종이, 피디에프 등의 형식으로 저장되어있어 변환이 필요함

Cleaning Data: Garbage In, Garbage Out

- 데이터 정리 중에 나타날 수 있는 문제

* artifact와 오류를 구별

* Data compatibility, unification

* 결측치 처리

* 미관측값 (0) 추정

* 이상치 탐지

Errors vs. Artifacts

- error: 데이터를 수집하는 과정에서 근본적으로 잃어버린 정보

- artifact: 데이터 처리 과정 중에 나타나는 시스템적인 문제

- sniff test: product를 가까이에서 조사하여 잘못되었다는 낌새를 알아차리는 방법

연도별 과학자의 첫 논문 발표자 수 관련 데이터

- PubMed를 이용하여 가장 자주 인용되는 과학자 100,000명의 첫 논문 발표 연도를 조사

- 예상 분포: 1960년에 몰려있고, 2023년에 가까워지면 0에 수렴하며, 그 중간은 일정하게 유지되는 그래프

(이유: 1960년부터 데이터를 수집했으므로 그 이전 논문들도 1960년으로 반영될 수 있으며, 최근에 가까워질수록 커리어가 적은 사람이 많아서 순위에 들지 못할 가능성이 높음)

- 실제 분포 (왼쪽)

1965년 이전 데이터는 수작업으로 하여 누락되었을 가능성 있음

2000년 이후 저자 이름 기록 방식이 변화로, 다른 저자지만 같은 저자로 인식할 수 있어 오류 발생

Data Compatibility

1. Unit Conversion

- 1999년 나사의 Mars Climate Orbiter가 사라짐

- 이유는 단위 차이 때문

- Z-score를 이용하면 단위가 사라지므로 유용

2. Number / Character Representation

- 1996년 Ariane 5 rocket 폭발: 64-bit float을 16-bit integer로 전환했기 때문

- 실제 수치의 integer 근사를 피할 것

- 측정값은 decimal number, count는 integer가 되도록 하자

- fractional quantities는 decimal 값으로 기록하자

3. Character Representations

- 텍스트 데이터의 인코딩 방식을 주의하자

- UTF-8: multibyte encoding for all Unicode characters

4. Name Unification

- 글 저자 기록 방식이 다 다를 수 있음. ex) Steve, Steven. S. 등등

- 이름을 같게 통일하자. 대소문자 변환, 미들네임 제거 등

- false positive와 negative 사이의 tradeoff

5. Time / Date Unification

- 날짜 통일: UTC 등 이용

6. Financial Unification

- Currency conversion: 환율을 이용

- 절대값 변화보다 returns / percentage change를 이용하자

- stock price를 올바르게 하자. (split(액면분할), dividends(배당))

- time value of money는 공정한 장기 비교를 위해 인플레이션의 correction을 해야 한다.

결측치 다루기

- 모른다고 하여 0으로 설정하는 것은 옳지 않다.

- 결측치 처리: 빈칸으로 두는 것보다 estimation, imputation이 필요하다.

Imputation methods

- Heuristic-based imputation: 평균수명을 반영하여 사망일자 예측

- Mean value imputation: 평균으로 대체

- Random value imputation: 난수로 대체 -> 통계적 평가에 imputation의 영향을 줄여줌

- Imputation by nearest neighbor: 가장 가까운 record를 이용하여 대체

- Imputation by interpolation: linear regression을 이용하여 대체 -> record에 빈 필드가 많이 없을 때

Outlier Detection

- 최댓값, 최솟값을 잘 확인하기

- Normally distributed data는 큰 outlier를 갖지 않는다. (k sigma from the mean)

- 그냥 삭제하지 말고 이상치가 생긴 이유를 생각하여 고치기

- 시각화를 통해 탐지하기 쉬움 (저차원인 경우만 가능)

- 클러스터링 했을 때 중심으로부터 멀리 떨어져있는 경우

Delete Outliers Prior to Fitting?

- 적합 이전에 이상치를 지우는 것은 더 나은 모델을 만들어내기도 한다.

ex) 이상치가 측정 오류로 생긴 것일 때

- 반대로 더 나쁜 모델을 만들어내기도 한다.

ex) 간단한 모델에 의해 설명되지 않는다고 해서 해당하는 점을 모두 지워버릴 경우

Probability
- experiment: 가능성이 있는 결과 한 세트를 만들어내는 과정
- sample space S: experiment의 가능성있는 결과의 세트
- event E: experiment의 특정 한 가지 결과
- p(s): probability of an outcome s
0 <= p(s) <= 1 // p(s)의 합 = 1을 만족하는 숫자 -> 확률
- probability of an event E: experiment의 결과들의 확률의 합
P(E) = p(s)의 합 = 1 - p(E^C)
- random variable V: 확률공간의 결과에 대한 numerical function
- expected value of a random variable V
E[V] = p(s) * V(s)의 합

Probability vs. Statistics
- 확률은 미래 사건에 대한 가능성을 예측하는 것을 다룸
- 통계는 과거 사건의 빈도에 대해 분석, 실제 세계에 대한 관측을 합리화하는 데 사용됨

Compound Events and Independence
- independent (독립): 다음 조건을 만족하는 event 2개

Conditional Probability P(A|B)

- 정의: B사건이 일어났을 때 A사건도 일어날 확률
- A와 B가 독립일 때, P(A|B) = P(A)

Bayes Theorem
- 의존관계의 방향을 바꿀 때 이용
- 사전확률로부터 사후확률을 구할 수 있음

Ex) B: 스팸 이메일인 사건 / A: 이메일인 사건
받은 이메일이 스팸 이메일일 확률을 구할 때 이용
- P(A), P(B)는 각각의 사건의 사전확률이다.
- 사후 확률을 구하기. 어려우므로 approximation ~ naive Bayesian 이용

Distributions of Random Variables
- Random variables: 값과 확률이 같이 등장하는 수치적 함수
- Probability density functions (pdfs): 히스토그램 등으로 RV를 나타냄
- Cumulative density functions (cdfs): running sum of the pdf
- pdf와 cdf는 동일한 정보를 갖고 있다.

- cdf는 성장률에 대한 잘못된 시각을 전달할 수 있다. -> 엄청 빠르게 성장하는 것으로 보이나, pdf로 확인할 경우 개별 연도별 성장률이 그렇게 높지 않을 수 있음.

Descriptive Statistics

- Central tendency measures: 중심점 주변에 분포한 데이터를 설명

- Variation or variability measures: 데이터가 퍼져있는 정도를 설명

Centrality Measure

(Arithmatic) Mean

- 장점: outlier가 없는 symmetric distribution에서 의미 있게 사용 가능 (ex. 키, 몸무게 등의 정규분포)

median: middle value

- skewed distribution

- outlier가 있는 데이터

- 부, 수입 등

mode: 가장 자주 나타나는 요소

- 중앙에 가깝지 않을 수 있다.

geometric mean: nth root of the product of n values

- geometric mean은 항상 arithmetic mean보다 작거나 같다.

- 0에 가까운 값들에 더 민감하다.

- ratio의 mean을 구할 때 사용

Aggregation as Data Reduction

- feature의 개수가 아닌 그냥 데이터의 수를 줄이는 것

- train, test set 나눌 때 유의하지 않으면 편향될 수 있음.

Variance Metric: Standard Deviation

- Variance: standard deviation sigma의 제곱

- population SD: n으로 나눔

- sample SD: n-1로 나눔

- n이 아주 커지면 n ~ (n-1) 이므로 큰 문제가 되지 않음

- hat: sample을 의미함

- 평균과 표준편차를 가지고 분포를 특정지을 수 있다.

Parameterizing Distributions

- 데이터가 어떻게 분포해있는지와는 상관없이, 최소한 1-1/k^2번째 점은 평균의 k sigma 안쪽에 있어야 한다.

- 최소한 75%는 평균의 2 sigma 안쪽에 있다.

- Power law의 경우에는 큰 의미가 없다. (skewed data)

- signal to noise ratio를 측정하는 것은 어렵다. -> sampling error, measurement error에 의한 정확하지 않은 분산

Batting Average - Interpreting Variance

- 3할 타자여도, 2할 7푼 5리 이하의 성적을 보일 가능성이 10%나 되고, 3할 2푼 5리 이상의 성적을 보일 가능성도 10%나 된다.

Correlation Analysis

- correlation coefficient r(X, Y): Y가 X의 함수인 정도를 측정한다.

- -1~1사이의 값을 갖는다.

-1: anti-correlated

1: fully-correlated

0: uncorrelated

Pearson Correlation Coefficient

- 분자 = covariance

r^2

- X에 의해 설명되는 Y의 비율을 나타낸 지표

Variance Reduction & r^2

- good linear fit f(x)가 있을 때, 잔차 d = y - f(x)는 y에 비해서 더 낮은 분산을 보일 것이다.

- 1-r^2 = V(d)/V(y)

- ex. r = 0.94일 때, 88.4%의 V(y)를 설명할 수 있다.

Significance

- 얼마나 유의하냐~

- sample size, r 모두 중요함

- p value < 0.05 (우연히 보았을 확률이 5% 미만이다)

- 작은 상관관계도 sample size가 충분히 크면 유의해질 수 있음

- permutation test: X를 두고 Y를 섞어서 계산 -> 만번 계산 후 우리가 궁금한 r(X, Y)가 상위 몇 % 안에 있나 확인하는 방법

Spearman Rank Correlation

- disordered pair의 수를 세는 방법

- 데이터가 직선에 얼마나 잘 맞는지 확인하는 것이 아님

=> non-linear relationship, outlier에 강점

- 계산 방법

- Pearson correlation rank이므로 범위가 -1~1 사이

Correlation vs. Causation

- Correlation이 causation인 것은 아니다.

- causation: 원인->결과인 방향이 있는 정보

Autocorrelation and Periodicity

- time-series data 중 종종 cycle을 보이는 데이터

- lag-k autocorrelation 계산은 O(n)이지만, Fast Fourier Transform(FFT)를 이용하면 O(nlogn)에 계산 가능

- shifting을 이용하여 correlation을 파악 = 즉, 주기성 파악

Logarithms

- 정의: inverse exponential function

- 컴퓨터의 연산 문제 떄문에 logarithm을 이용하는 것이 더 효율적이다.

- 비율을 그냥 비교하는 것은 엄청난 차이를 보일 수 있으나 비율에 로그를 취해서 비교할 경우 equal displacement를 보인다.

- power law에서 로그를 씌워서 비교하는 이유.

Normalizing Skewed Distributions

- logarithm을 이용: power law, ratio 등에 이용하여 정규화 가능