Typical Data Science Pipeline Data Munging / Data wrangling - 데이터를 얻고 분석을 위해 준비/정리하는 것 데이터과학에 사용하는 언어 - Python: 라이브러리, 피쳐 등 포함 - regular expressions * regular expression 예 - [hc]at : hat or cat - .at : .자리에 아무거나 들어갈 수 있음 - ab*c : b가 0개 이상 있어야 함 - ab+c : b가 1개 이상 있어야 함 - R: 통계학자들이 주로 사용 - Matlab: 행렬 - Java/C++: 빅데이터 시스템을 위한 언어 - Excel: bread and butter toool 노트북 환경 - reproducible, tweakable, docu..

Probability - experiment: 가능성이 있는 결과 한 세트를 만들어내는 과정 - sample space S: experiment의 가능성있는 결과의 세트 - event E: experiment의 특정 한 가지 결과 - p(s): probability of an outcome s 0 엄청 빠르게 성장하는 것으로 보이나, pdf로 확인할 경우 개별 연도별 성장률이 그렇게 높지 않을 수 있음. Descriptive Statistics - Central tendency measures: 중심점 주변에 분포한 데이터를 설명 - Variation or variability measures: 데이터가 퍼져있는 정도를 설명 Centrality Measure (Arithmatic) Mean - 장점: o..

데이터과학이란 무엇인가 - 실험적 데이터 분석 & 시각화 - 머신러닝 & 통계학 - scale을 다루는 고성능 계산 (computing) 기술 데이터과학에 필요한 스킬 - computer science + domain science + statistics Typical Data Science Pipeline 1. 흥미로운 질문 던지기 : 가장 중요한 부분 2. 데이터 수집 3. 데이터 탐색 4. 데이터 모델링 5. 커뮤니케이션, 시각화 컴퓨터과학과 실제 과학의 차이 과학자 컴퓨터과학자 - Data-driven -복잡한 자연세상을 이해하려고 노력함. - finding에 집중: 결과가 중요하지 method는 그렇게 관심있지 않음. - 새로운 것을 발견 - 정확도보다는 meaning이 중요함 - 완전히 tru..

다중공선성이란? 회귀분석을 할 때 다중공선성을 고려해야 한다고 하는데, 과연 다중공선성이란 무엇일까? 다중공선성(Multicollinearity)는 회귀분석 시 독립변수들 간의 강한 상관관계가 나타날 때를 일컫는 용어다. 만약 변수들 간 다중공선성이 높다고 판단되면, 이 변수들은 더이상 독립변수라고 보기 어렵다. 회귀분석의 전제인 독립변수 X들을 통해 Y를 예측한다는 가정이 성립할 수 없게 되므로 다중공선성은 회귀분석의 심각한 문제 중 하나로 손꼽힌다. VIF Variance Inflation Factor의 약자인 VIF는 한국어로 번역하면 분산 팽창 인수다. 이 값은 독립변수의 다중공선성을 판단하기 위한 지표로 사용되며 계산식은 다음과 같다. r_i는 i번째 변수를 제외한 회귀식의 R^2값이다. 보통 ..

1. 새 repository 생성 github에 로그인하여 상단 +버튼을 통해 새로운 repository를 생성한다. README file 추가를 해두면 나중에 repository 설명 추가할 때 요긴하게 사용할 수 있다. repository의 주소가 있어야 해당 repository에 파일 업로드가 가능하다. 2. 원하는 파일 위치에서 git 실행 https://git-scm.com/ Git git-scm.com 위 페이지에서 git을 다운로드 받아 설치한다. 업로드를 원하는 파일이 있는 폴더를 열고 빈 공간에 마우스 우클릭을 하여 Git Bash Here를 클릭한다. 3. git init 창에 다음과 같이 입력한다. git init 4. git add git add test.txt 원하는 파일을 git..