Probability
- experiment: 가능성이 있는 결과 한 세트를 만들어내는 과정
- sample space S: experiment의 가능성있는 결과의 세트
- event E: experiment의 특정 한 가지 결과
- p(s): probability of an outcome s
0 <= p(s) <= 1 // p(s)의 합 = 1을 만족하는 숫자 -> 확률
- probability of an event E: experiment의 결과들의 확률의 합
P(E) = p(s)의 합 = 1 - p(E^C)
- random variable V: 확률공간의 결과에 대한 numerical function
- expected value of a random variable V
E[V] = p(s) * V(s)의 합

Probability vs. Statistics
- 확률은 미래 사건에 대한 가능성을 예측하는 것을 다룸
- 통계는 과거 사건의 빈도에 대해 분석, 실제 세계에 대한 관측을 합리화하는 데 사용됨

Compound Events and Independence
- independent (독립): 다음 조건을 만족하는 event 2개

Conditional Probability P(A|B)

- 정의: B사건이 일어났을 때 A사건도 일어날 확률
- A와 B가 독립일 때, P(A|B) = P(A)

Bayes Theorem
- 의존관계의 방향을 바꿀 때 이용
- 사전확률로부터 사후확률을 구할 수 있음

Ex) B: 스팸 이메일인 사건 / A: 이메일인 사건
받은 이메일이 스팸 이메일일 확률을 구할 때 이용
- P(A), P(B)는 각각의 사건의 사전확률이다.
- 사후 확률을 구하기. 어려우므로 approximation ~ naive Bayesian 이용

Distributions of Random Variables
- Random variables: 값과 확률이 같이 등장하는 수치적 함수
- Probability density functions (pdfs): 히스토그램 등으로 RV를 나타냄
- Cumulative density functions (cdfs): running sum of the pdf
- pdf와 cdf는 동일한 정보를 갖고 있다.

- cdf는 성장률에 대한 잘못된 시각을 전달할 수 있다. -> 엄청 빠르게 성장하는 것으로 보이나, pdf로 확인할 경우 개별 연도별 성장률이 그렇게 높지 않을 수 있음.

Descriptive Statistics

- Central tendency measures: 중심점 주변에 분포한 데이터를 설명

- Variation or variability measures: 데이터가 퍼져있는 정도를 설명

Centrality Measure

(Arithmatic) Mean

- 장점: outlier가 없는 symmetric distribution에서 의미 있게 사용 가능 (ex. 키, 몸무게 등의 정규분포)

median: middle value

- skewed distribution

- outlier가 있는 데이터

- 부, 수입 등

mode: 가장 자주 나타나는 요소

- 중앙에 가깝지 않을 수 있다.

geometric mean: nth root of the product of n values

- geometric mean은 항상 arithmetic mean보다 작거나 같다.

- 0에 가까운 값들에 더 민감하다.

- ratio의 mean을 구할 때 사용

Aggregation as Data Reduction

- feature의 개수가 아닌 그냥 데이터의 수를 줄이는 것

- train, test set 나눌 때 유의하지 않으면 편향될 수 있음.

Variance Metric: Standard Deviation

- Variance: standard deviation sigma의 제곱

- population SD: n으로 나눔

- sample SD: n-1로 나눔

- n이 아주 커지면 n ~ (n-1) 이므로 큰 문제가 되지 않음

- hat: sample을 의미함

- 평균과 표준편차를 가지고 분포를 특정지을 수 있다.

Parameterizing Distributions

- 데이터가 어떻게 분포해있는지와는 상관없이, 최소한 1-1/k^2번째 점은 평균의 k sigma 안쪽에 있어야 한다.

- 최소한 75%는 평균의 2 sigma 안쪽에 있다.

- Power law의 경우에는 큰 의미가 없다. (skewed data)

- signal to noise ratio를 측정하는 것은 어렵다. -> sampling error, measurement error에 의한 정확하지 않은 분산

Batting Average - Interpreting Variance

- 3할 타자여도, 2할 7푼 5리 이하의 성적을 보일 가능성이 10%나 되고, 3할 2푼 5리 이상의 성적을 보일 가능성도 10%나 된다.

Correlation Analysis

- correlation coefficient r(X, Y): Y가 X의 함수인 정도를 측정한다.

- -1~1사이의 값을 갖는다.

-1: anti-correlated

1: fully-correlated

0: uncorrelated

Pearson Correlation Coefficient

- 분자 = covariance

r^2

- X에 의해 설명되는 Y의 비율을 나타낸 지표

Variance Reduction & r^2

- good linear fit f(x)가 있을 때, 잔차 d = y - f(x)는 y에 비해서 더 낮은 분산을 보일 것이다.

- 1-r^2 = V(d)/V(y)

- ex. r = 0.94일 때, 88.4%의 V(y)를 설명할 수 있다.

Significance

- 얼마나 유의하냐~

- sample size, r 모두 중요함

- p value < 0.05 (우연히 보았을 확률이 5% 미만이다)

- 작은 상관관계도 sample size가 충분히 크면 유의해질 수 있음

- permutation test: X를 두고 Y를 섞어서 계산 -> 만번 계산 후 우리가 궁금한 r(X, Y)가 상위 몇 % 안에 있나 확인하는 방법

Spearman Rank Correlation

- disordered pair의 수를 세는 방법

- 데이터가 직선에 얼마나 잘 맞는지 확인하는 것이 아님

=> non-linear relationship, outlier에 강점

- 계산 방법

- Pearson correlation rank이므로 범위가 -1~1 사이

Correlation vs. Causation

- Correlation이 causation인 것은 아니다.

- causation: 원인->결과인 방향이 있는 정보

Autocorrelation and Periodicity

- time-series data 중 종종 cycle을 보이는 데이터

- lag-k autocorrelation 계산은 O(n)이지만, Fast Fourier Transform(FFT)를 이용하면 O(nlogn)에 계산 가능

- shifting을 이용하여 correlation을 파악 = 즉, 주기성 파악

Logarithms

- 정의: inverse exponential function

- 컴퓨터의 연산 문제 떄문에 logarithm을 이용하는 것이 더 효율적이다.

- 비율을 그냥 비교하는 것은 엄청난 차이를 보일 수 있으나 비율에 로그를 취해서 비교할 경우 equal displacement를 보인다.

- power law에서 로그를 씌워서 비교하는 이유.

Normalizing Skewed Distributions

- logarithm을 이용: power law, ratio 등에 이용하여 정규화 가능

데이터과학이란 무엇인가

- 실험적 데이터 분석 & 시각화

- 머신러닝 & 통계학

- scale을 다루는 고성능 계산 (computing) 기술

데이터과학에 필요한 스킬

- computer science + domain science + statistics

Typical Data Science Pipeline

1. 흥미로운 질문 던지기 : 가장 중요한 부분

2. 데이터 수집

3. 데이터 탐색

4. 데이터 모델링

5. 커뮤니케이션, 시각화

컴퓨터과학과 실제 과학의 차이

데이터 사이언티스트

데이터 사이언티스트들은 실제 과학자처럼 생각하는 방법을 배워야 한다.

소프트웨어 개발자는 code를 생산하지만 데이터 사이언티스트들은 insight를 창출한다.

좋은 데이터 사이언티스트들은 연구분야에 대한 호기심을 갖고 있다. 늘 세상에 대한 더 넓은 시각을 갖고자 한다.

좋은 질문 하기

소프트웨어 개발자와 달리 데이터 사이언티스트들은 질문을 해야한다.

예시)

- 주어진 데이터셋으로부터 배울 수 있을 것은?

- 나 또는 대중들이 알고 싶어하는 것이 무엇인가?

- 이 분야에서 얻을 수 있는 데이터셋은 무엇인가?

Who / What / Where / When / Why 에 입각하여 질문해보자.

ex1) 야구 데이터를 갖고 있을 때

- 수비 포지션에 따라 타격 성적이 달라지는가?

(이 질문에 대해서는 2017-2018시즌 모 선수 데이터를 활용해서 한 번 분석해보고 싶다.)

- 루키의 성적이 과연 괜찮을까?

(루키의 경우 자료가 없으므로 예측이 어려울 수 있음. 이때 기존 선수들의 루키 시절 자료 중 비교대상과 비슷한 특성을 갖는 사람을 군집화하여 average를 구하면 예측값으로 사용할 수 있다.)

ex2) 인구통계학

- 왼손잡이가 오른손잡이보다 더 짧은 수명을 갖고 있는가?

- 키, 몸무게가 인구 전반적으로 커지고 있는가?

ex3) 영화 데이터 (IMDb)

- 영화배우들의 social network에 대해 알아보기

- 영화 흥행 예측하기

ex4) NYC Taxi Cab Data - Freedom of Information Act Request (FOA) 에 의해 공개된 자료

- 효율적으로 택시를 배치하는 방안

- 심야버스/일반 버스 노선 정할 때 수요가 많은 지역 탐색

Google Ngrams

구글이 책 자료를 이용하여 만든 데이터셋. 단어를 입력하면 그 단어가 발행된 책들 가운데 몇 번 빈도로 나타났는지 수치로 확인할 수 있으며 여러 개 입력도 가능하다.

그 시대의 가치를 파악하거나, 특정 단어 (예: 욕설) 가 어떻게 변화하였는지? 추적하는 수단으로 사용될 수 있다.

Google Trends

특정 search-term이 전체 검색량 중 얼만큼의 빈도로 입력되었는지 보여주는 툴. 여러 단어 사이의 상대적인 검색빈도를 비교할 수 있음.

논문 Quantifying Trading Behavior in Financial Markets Using Google Trends 에서 사용되었다. 이 논문에서는 debt라는 단어의 검색 빈도수와 Dow Jones Industrial Average 사이 관계를 시각화해서 보여주었으며, debt의 검색 빈도수 추이에 따라 주식 투자를 했을 때 수익률이 일반 전략 (buy and hold, random...) 보다 더 높은 수익률을 보여주었다고 설명하고 있다. financial times에서 여러 차례 언급된 키워드 여러 개 중 가장 성능이 좋았던 것이 debt이었기 때문에 논문에서 소개하고 있다. 다만 unseen data에 대해서 동일한 성과를 낼 수 있는지는 보장된 바가 없다 (단순히 운이었을 수도 있기는 하다.)

데이터의 특성

1. Structured / Unstructured Data 

2. Quantitative / Categorical Data

아래 글 참고

데이터의 종류

1. Nominal (Categorical) (N) : 구분은 되지만 순위는 나눌 수 없는 데이터 =, != 

2. Ordinal (O) : < 처럼 순위를 구분할 수 있는 데이터 =, !=, >, <

3. Quantitative (Q) : arithmetic을 할 수 있는 데이터 

   3-1. Q - Interval (location of zero arbitrary) : 원점이 고정되어있지 않은 데이터 ex) 날짜 =, !=, >, <, +, -

   3-2. Q - Ratio (zero fixed) : 사칙연산이 모두 가능한 데이터 ex) 길이 =, !=, >, <, +, -, *, /

Classification vs Regression

Classification(분류)는 input에 label을 붙이는 것. 서로 다른 세트로 나누는 느낌이다. 반면 Regression(회귀)는 continuous target을 예측하는 것이다. 따라서, 가격이 높아질 것인가 낮아질 것인가? 는 분류, 가격이 얼마가 될 것인가? 는 회귀라고 볼 수 있다.

+

이번 학기 데이터과학 수업하시는 교수님 랩실에서 BioBERT를 개발하셨다고 한다. 또 이 랩실은 DreamChallenges라는 bio-medicine분야의 캐글과 같은 대회들에서 상도 많이 타셨다. 진짜 진짜 내가 관심 있는 분야가 이런 분야였는데! 싶고... 심장이 뛰고 (?) ... 아무튼 수업 말고도 교수님 랩실에서 나온 논문 같은 거 도전해보기! 가 2023년 목표