Chapter 1. What is Data Science?

데이터과학이란 무엇인가

- 실험적 데이터 분석 & 시각화

- 머신러닝 & 통계학

- scale을 다루는 고성능 계산 (computing) 기술

 

데이터과학에 필요한 스킬

- computer science + domain science + statistics

 

Typical Data Science Pipeline

1. 흥미로운 질문 던지기 : 가장 중요한 부분

2. 데이터 수집

3. 데이터 탐색

4. 데이터 모델링

5. 커뮤니케이션, 시각화

 

컴퓨터과학과 실제 과학의 차이

과학자	컴퓨터과학자
- Data-driven -복잡한 자연세상을 이해하려고 노력함. - finding에 집중: 결과가 중요하지 method는 그렇게 관심있지 않음. - 새로운 것을 발견 - 정확도보다는 meaning이 중요함 - 완전히 true인 것은 없다. (이 현상이 이럴 수도 있지만, 저럴 수도 있다 - ex. 유전법칙에 항상 맞는 것은 없는 것)	- Algorithm-driven - 자신들의 깨끗한 가상환경을 만듦 - method에 집중 - 새로운 것을 발명 - 정확도가 중요

 

데이터 사이언티스트

데이터 사이언티스트들은 실제 과학자처럼 생각하는 방법을 배워야 한다.

소프트웨어 개발자는 code를 생산하지만 데이터 사이언티스트들은 insight를 창출한다.

좋은 데이터 사이언티스트들은 연구분야에 대한 호기심을 갖고 있다. 늘 세상에 대한 더 넓은 시각을 갖고자 한다.

 

좋은 질문 하기

소프트웨어 개발자와 달리 데이터 사이언티스트들은 질문을 해야한다.

예시)

- 주어진 데이터셋으로부터 배울 수 있을 것은?

- 나 또는 대중들이 알고 싶어하는 것이 무엇인가?

- 이 분야에서 얻을 수 있는 데이터셋은 무엇인가?

Who / What / Where / When / Why 에 입각하여 질문해보자.

 

ex1) 야구 데이터를 갖고 있을 때

- 수비 포지션에 따라 타격 성적이 달라지는가?

(이 질문에 대해서는 2017-2018시즌 모 선수 데이터를 활용해서 한 번 분석해보고 싶다.)

- 루키의 성적이 과연 괜찮을까?

(루키의 경우 자료가 없으므로 예측이 어려울 수 있음. 이때 기존 선수들의 루키 시절 자료 중 비교대상과 비슷한 특성을 갖는 사람을 군집화하여 average를 구하면 예측값으로 사용할 수 있다.)

 

ex2) 인구통계학

- 왼손잡이가 오른손잡이보다 더 짧은 수명을 갖고 있는가?

- 키, 몸무게가 인구 전반적으로 커지고 있는가?

 

ex3) 영화 데이터 (IMDb)

- 영화배우들의 social network에 대해 알아보기

- 영화 흥행 예측하기

 

ex4) NYC Taxi Cab Data - Freedom of Information Act Request (FOA) 에 의해 공개된 자료

- 효율적으로 택시를 배치하는 방안

- 심야버스/일반 버스 노선 정할 때 수요가 많은 지역 탐색

 

Google Ngrams

구글이 책 자료를 이용하여 만든 데이터셋. 단어를 입력하면 그 단어가 발행된 책들 가운데 몇 번 빈도로 나타났는지 수치로 확인할 수 있으며 여러 개 입력도 가능하다.

그 시대의 가치를 파악하거나, 특정 단어 (예: 욕설) 가 어떻게 변화하였는지? 추적하는 수단으로 사용될 수 있다.

 

Google Trends

특정 search-term이 전체 검색량 중 얼만큼의 빈도로 입력되었는지 보여주는 툴. 여러 단어 사이의 상대적인 검색빈도를 비교할 수 있음.

논문 Quantifying Trading Behavior in Financial Markets Using Google Trends 에서 사용되었다. 이 논문에서는 debt라는 단어의 검색 빈도수와 Dow Jones Industrial Average 사이 관계를 시각화해서 보여주었으며, debt의 검색 빈도수 추이에 따라 주식 투자를 했을 때 수익률이 일반 전략 (buy and hold, random...) 보다 더 높은 수익률을 보여주었다고 설명하고 있다. financial times에서 여러 차례 언급된 키워드 여러 개 중 가장 성능이 좋았던 것이 debt이었기 때문에 논문에서 소개하고 있다. 다만 unseen data에 대해서 동일한 성과를 낼 수 있는지는 보장된 바가 없다 (단순히 운이었을 수도 있기는 하다.)

 

데이터의 특성

1. Structured / Unstructured Data 

2. Quantitative / Categorical Data

아래 글 참고

[EDA] 데이터 종류별 시각화 방법

 

데이터의 종류

1. Nominal (Categorical) (N) : 구분은 되지만 순위는 나눌 수 없는 데이터 =, != 

2. Ordinal (O) : < 처럼 순위를 구분할 수 있는 데이터 =, !=, >, <

3. Quantitative (Q) : arithmetic을 할 수 있는 데이터 

   3-1. Q - Interval (location of zero arbitrary) : 원점이 고정되어있지 않은 데이터 ex) 날짜 =, !=, >, <, +, -

   3-2. Q - Ratio (zero fixed) : 사칙연산이 모두 가능한 데이터 ex) 길이 =, !=, >, <, +, -, *, /

 

Classification vs Regression

Classification(분류)는 input에 label을 붙이는 것. 서로 다른 세트로 나누는 느낌이다. 반면 Regression(회귀)는 continuous target을 예측하는 것이다. 따라서, 가격이 높아질 것인가 낮아질 것인가? 는 분류, 가격이 얼마가 될 것인가? 는 회귀라고 볼 수 있다.

 

+

이번 학기 데이터과학 수업하시는 교수님 랩실에서 BioBERT를 개발하셨다고 한다. 또 이 랩실은 DreamChallenges라는 bio-medicine분야의 캐글과 같은 대회들에서 상도 많이 타셨다. 진짜 진짜 내가 관심 있는 분야가 이런 분야였는데! 싶고... 심장이 뛰고 (?) ... 아무튼 수업 말고도 교수님 랩실에서 나온 논문 같은 거 도전해보기! 가 2023년 목표