Linear Algebra / 선형대수학 - matrix의 수학 - 데이터 과학에서 중요한 역할 n * m matrix가 나타낼 수 있는 것 row column Data object features Geometric Point Sets point dimensions Systems of equations equations 각 변수의 coefficient - Graphs/Networks: M[i, j] = vertex i -> vertex j edge 개수 - Vectors: any row, column or d*1 matrix Vector 사이의 각 - 벡터 A와 B 사이의 각도 - cos(0) = 1 ---> perfect similarity = 0 - cos(pi/2) = 0 ---> 관련이 없다 - ..

Data Science Analysis Pipeline - Modeling: 예측을 할 수 있는 도구로 정보를 감싸는 과정 - 핵심 과정: building, fitting, validating the model Philosophies of Modeling 1. Occam's Razor - 14세기 영국 수도승 - 뜻: 가장 단순한 설명이 가장 좋다. - 가장 적은 가정을 만드는 답을 선택해야 한다. -> 모델에서 parameter의 수를 줄여야 함을 의미 - LASSO/ridge regression 등의 머신러닝 기법은 피쳐를 최소화하기 위해 penalty function을 사용 -> 불필요한 coefficient를 최소화 2. Bias-Variance Tradeoffs - "모든 모델은 틀리다. 그렇지..

Exploratory Data Analysis - 데이터를 자세히 살펴보는 것이 중요한 이유 * 데이터 수집, 전처리에서의 실수 구별 * 통계적 가정을 어기는 경우를 파악 * 데이터 패턴 탐색 * 가설 설정 Anscombe's Quartet - 같은 평균, 편차, 상관관계, 회귀직선을 가지지만 데이터의 분포 모양 자체가 매우 달라질 수 있음. Mapping Data to Image - 효율성 순위: 위치 > 길이 > 기울기, 각도 > 면적 > 색 진하기 > 색, 모양 - 면적, 색 진하기 데이터는 ordinal data에 사용 가능 - 원그래프는 면적과 각도를 같이 사용하지만, 도넛 그래프는 가운데가 비어있으므로 각이 생략된 형태다. - 가장 비효율적인 시각화 사례 - 색의 우선순위를 결정 - 지나치게 ..

Central Dogma of Statistics Statistical Data Distributions - 모든 random variable은 특정 빈도/확률 분포를 갖는다. - 종류: binomial distribution, normal distribution, poisson distribution, power law distribution Classical Distribution의 중요성 - 실제로 사용하는 경우도 있음 - Closed-form formula(cdf, pdf), test(t-test) 등을 이용 가능 - 모양이 비슷하다고 이러한 분포와 같다고 생각하면 안 된다. Binomial Distribution - n개의 independent trial로 이루어진 실험 -> 2가지의 결과를 가..

Scores and Rankings - Scoring functions: 다차원 데이터를 단일 값으로 변경하여 특정 성질을 강조하는 방법 - Rankings: 점수를 정렬하여 항목의 순위를 매김 Assigning Grades - 학점은 scoring function으로 부여된다. - 특징: 임의성 (교수님마다 기준이 다름), validation data 없음 ("옳은" 등급은 없음), general robustness (다른 수업이어도 학생마다 학점은 비슷비슷함) Scoring vs. Regression - gold standard/right answer가 없다. - 머신러닝에서 선형 회귀 같은 경우는 scoring function을 학습시킬 수 있지만 보통 그러지 않는다. BMI 지수 - BMI = m..