vscode를 이용해서 git 관리를 하고 있는데 (코드를 따로 작성하지는 않고 확장 프로그램을 이용한다) 난생 처음 보는 오류를 맞닥뜨렸다.

"unexpected disconnect while reading sideband packet fatal: the remote end hung up unexpectedly everything up-to-date"

이라는 창이 뜨면서 푸시가 되지 않는 현상이 발생했다.

인터넷 오류인가 싶어서 다른 와이파이를 이용하였지만 이 문제는 아니었다.

구글링을 통해 오류의 원인을 파악했다. 

기본적으로 푸시할 수 있는 한 개 파일의 최대 용량이 1MB여서, 용량 초과한 파일을 push할 때 오류가 발생한다고 한다. 이번에 처음으로 1MB가 넘는 파일을 업로드해서 그런 것이었다.

이를 해결하기 위해서 최대 용량을 늘려주면 된다.

터미널을 열고 

git config --local http.postBuffer 2048M

해당 명령어를 입력해주니 해결되었다.

이게 먹히지 않으면 ssh에서도 변경해주면 된다고 한다. 

git config --local ssh.postBuffer 2048M

출처: https://happy-jjang-a.tistory.com/222

다이브 가을 기수 2주차 과제 - Audio Classification Model (오디오 분류 모델) 만들기 과제 하는 과정

간략하게 정리해보도록 하겠다.

우선, 나는 딥러닝을 그렇게 잘 아는 편은 아니라서 가장 쉬운 방법으로 과제를 해결하기로 하였고

그 과정에서 채택된 것이 바로 CNN 모델이다.

Tensorflow를 이용하였다. (학교에서 시키는 과제는 파이토치를 쓰기 때문에,, 텐서플로우는 처음이다)

1) 오디오 데이터 불러오기

사용한 데이터 설명은 다음과 같다.

14개의 악기들별 소리가 저장되어 있는 데이터셋입니다. 오디오를 MFCC 계수의 개수를 13개로 설정한 MFCC 형태로 전처리했으며 전처리 방식은 아래와 같습니다. 전체 데이터셋에서 무작위로 하나의 악기를 고르고, 해당 악기 레이블의 데이터 중 랜덤하게 파일을 골라 그 음성 파일 내에서 공백 부분을 제외하고 0.5초를 샘플링하는 과정을 전체 데이터셋에 대해 56789번 반복했습니다. 데이터의 형태는 다음과 같습니다. 데이터는 어떤 정규화나 표준화도 거치지 않았습니다.

데이터의 형태는 넘파이로 저장되어 있었기 때문에 넘파이를 이용해 불러와준다.

import numpy as np
Xdata = np.load("Xdata.npy")
ydata = np.load("ydata.npy")

그 후, 필요한 모듈들을 임포트 해온다.

import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers
from sklearn.model_selection import train_test_split

2) 정규화 진행 및 데이터 분할

넘파이 배열 형태이기 때문에 전처리로 간단하게 정규화를 진행해 보았다.

Xdata_normalized = (Xdata - np.mean(Xdata)) / np.std(Xdata)

또한 학습과 테스트 데이터셋 분리를 위해 train_test_split을 이용하였다.

X_train, X_test, y_train, y_test = train_test_split(Xdata_normalized, ydata, test_size = 0.2, random_state = 42)

3) 모델 생성 및 학습 

model = tf.keras.Sequential([
    tf.keras.layers.Conv1D(64, kernel_size=3, activation='relu', input_shape=X_train.shape[1:]),
    tf.keras.layers.MaxPooling1D(pool_size=2),
    tf.keras.layers.Conv1D(128, kernel_size=3, activation='relu'),
    tf.keras.layers.MaxPooling1D(pool_size=2),
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dense(512, activation='relu'),
    tf.keras.layers.Dropout(0.2),
    tf.keras.layers.Dense(256, activation='relu'),
    tf.keras.layers.Dropout(0.5),
    tf.keras.layers.Dense(y_train.shape[1], activation='softmax')
])

케라스를 이용하여 CNN 층을 쌓아준다. 과적합 방지용으로 Dropout을 이용한다.

층을 쌓는 기준이라 한다면 사실 잘 모르겠고 이것저것 조합해보았다.

# 모델 컴파일
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])

# 모델 학습
history = model.fit(X_train, y_train, epochs=50, batch_size=64)

모델 학습을 위와 같이 진행한다. 에포크 수는 처음에 20으로 했다가 수렴이 안됐길래 더 크게 해줬다.

4) 성능 테스트

Epoch 50/50 688/688 [==============================] - 7s 11ms/step - loss: 0.2341 - accuracy: 0.9247

학습 결과 정확도가 0.9247이었다.

더 학습시키면 완전 수렴할 것 같지만 시간관계상..

Test 데이터셋으로 다시 평가했을 때 결과는 accuracy: 0.8739 이었다. 약간 과적합이 된 걸까?.? 싶기도...

다른 팀원은 LSTM으로 하고 나도 시계열 데이터는 LSTM이 더 성능이 좋다고 알고 있는데 이미 CNN으로 너무 좋은 성능을 내서 더 좋아질 수 있을지 궁금해졌다!

++ 딥러닝 공부 좀 해야겠..다

이진 분류기의 성능을 계산할 때 우리는 confusion matrix (혼동행렬) 을 그려 True positive, True negative, False positive, False negative를 확인하고 이를 통해 precision, recall, accuracy등을 확인할 수 있다.

그런데 만약 분류해야 할 클래스가 3개 이상이라면 어떻게 해야할까?

두 가지 방식이 있는데 바로 Microaveraging 과 Macroaveraging이다. 둘의 차이를 확인해보자. 

Macroaveraging

구하고 싶은 각각의 클래스에 대해서 성능을 계산한다. 그 이후 각 클래스에 대한 평균값이 최종 성능이 된다.

만약 클래스가 4개라면, 작은 confusion matrix 4개를 그리고, 이 4개에 대한 평균값으로 성능을 구할 수 있는 것이다.

Microaveraging

모든 클래스의 결과를 하나의 confusion matrix로 나타내어 각 성능을 구할 수 있는 방식이다.

Microaveraging 방식으로 계산된 score는 흔하게 나타나는 클래스에 대한 점수로 결정된다.

1. 새 repository 생성

github에 로그인하여 상단 +버튼을 통해 새로운 repository를 생성한다.

README file 추가를 해두면 나중에 repository 설명 추가할 때 요긴하게 사용할 수 있다.

repository의 주소가 있어야 해당 repository에 파일 업로드가 가능하다.

2. 원하는 파일 위치에서 git 실행

https://git-scm.com/

위 페이지에서 git을 다운로드 받아 설치한다.

업로드를 원하는 파일이 있는 폴더를 열고 빈 공간에 마우스 우클릭을 하여 Git Bash Here를 클릭한다.

3. git init

창에 다음과 같이 입력한다.

git init

4. git add

git add test.txt

원하는 파일을 git add 다음에 입력해준다.

해당 위치의 모든 파일을 add하려면 . 만 입력하면 된다.

5. git commit

git commit -m "메시지 내용"

커밋할 준비를 한다. 적고 싶은 메시지 내용을 따옴표 안에 적는다.

6. git remote add origin

git remote add origin 주소

원격 저장소와 연결한다. 연결하고자 하는 내 github repository 주소를 복사해서 붙여넣으면 된다.

단! git 프로그램에서 Ctrl+V는 작동하지 않으니 마우스 우클릭으로 붙여넣자.

8. git push

git push origin master

대망의 push 작업! 원격 저장소에 우리가 추가해뒀던 파일들을 업로드하자.

main 부분에 다른 branch 이름을 적으면 그 branch로 업로드가 된다.

https://github.com/iamnotwhale/testtest

업로드 성공한 것을 확인할 수 있다.

아직도 git 쓰면서 오류 많이 나오는 나지만 ㅠㅠ 일단 업로드 과정이라도 덜 헷갈리라고 작성해본다.

다음에는 내가 git 사용하면서 만난 오류들에 대해서 포스팅해봐야겠다.

데이터의 종류

데이터는 크게 범주형, 수치형 두 가지 분류로 나눌 수 있다.

범주형 데이터는 범주/카테고리를 구분하는 각각의 이름을 갖는 데이터 종류다.

ex) 성별 - 여성, 남성 / 학력 - 초졸, 중졸, 대졸, 대학원졸 / 출신 학교 - 고려대학교, 연세대학교, ...

반면 수치형 데이터는 말그대로 숫자로 표시되는 자료들이다.

ex) 나이 - 1살, 2살, ... / 키 - 160cm, 161cm, ... / 몸무게 - 50kg, 51kg, ...

범주형 데이터(질적 자료)

범주형 데이터는 또 순위형, 명목형이라는 두 가지 하위 분류로 다시 나누어진다.

순위형 데이터는 각 데이터별로 순위가 나누어져 있는 데이터들이다.

예를 들어 만족도 데이터를 생각해보면, 5점과 1점은 동등한 자격을 갖는 데이터가 아니다. 보통 5점이 1점보다 더 높은 순위를 가지기 때문이다. 따라서 만족도 데이터는 순위형 데이터이다.

명목형 데이터는 반대로 각 데이터별 순위가 없는 데이터이다.

성별 데이터는 여성과 남성으로 이루어지는데 둘 사이의 순위를 매길 수 없으므로 명목형 데이터이다.

수치형 데이터(양적 자료)

수치형 데이터 역시 이산형, 연속형이라는 두 하위 분류로 나눌 수 있다.

이산형 데이터는 데이터와 데이터 사이에 끊어짐이 있다.

물건의 개수와 같은 예시를 들 수 있다. 1개와 2개 사이인 개수를 정의할 수 없으므로 물건의 개수는 이산형 데이터이다.

반면 연속형 데이터는 데이터와 데이터 사이에 끊어짐이 없다.

키는 160cm와 161cm 사이에 무수히 많은 값을 가질 수 있으므로, 연속적이라고 볼 수 있으며 따라서 연속형 데이터에 해당한다.

범주형 데이터 시각화

범주형 데이터를 시각화하기 위해서 seaborn, matplotlib을 이용한다.

import seaborn as sns
import matplotlib.pyplot as plt

상단의 파일을 사용하였다.

1) 범주형 변수 1개

범주형 변수를 시각화하기 위해서 막대그래프나 원그래프를 그릴 수 있다.

막대그래프의 경우 pandas의 기능 중 하나인 plot.bar()를 사용할 수 있다.

image = df['grade'].value_counts().plot.bar()

막대그래프를 그리는 다른 방법에는 seaborn의 카운트도표 sns.countplot()이 있다.

sns.countplot(x = 'grade', data = df)

원그래프는 plt.pie()를 이용한다.

plt.pie(x = df['grade'].value_counts(), labels = [1, 2, 3, 4, 5], autopct='%.1f%%')

2) 범주형 변수 + 수치형 변수 시각화

① sns.lineplot(): 명목형 + 수치형(연속형 + 이산형)

② sns.scatterplot(): 명목형 + 수치형(연속형 + 연속형)

③ sns.barplot(): 명목형 + 연속형

④ sns.pointplot(): 명목형 + 연속형

⑤ sns.boxplot(): 명목형 + 연속형 

⑥ sns.violinplot(): 명목형 + 연속형

굉장히 다양한 방법으로 시각화가 가능하므로 때에 따라 적절하게 시각화 방법을 고르면 된다.

이중에서 scatterplot을 한 번 그려보자.

sns.scatterplot(x = 'weight', y = 'height', data = df, hue = 'grade')

weight와 height 사이의 scatterplot을 그렸지만, hue를 통해 grade별로 다르게 표시하였다.

grade는 범주형 변수이고 나머지는 수치형이므로 범주형, 수치형 사이 데이터를 시각화하는 방법이 될 수 있다.

수치형 데이터 시각화

1) 수치형 변수 1개

히스토그램을 그려서 수치형 변수를 시각화해보자. plt.hist()를 이용할 수 있다.

plt.hist(df['height'])

구간의 개수는 hist의 인자인 bins에 값을 넣어주면 된다.

히스토그램에 확률밀도함수를 추가하여 그리는 방법도 있다. sns.displot()를 이용하면 다음과 같다.

sns.distplot(df['weight'])

sns.boxplot()을 통해 박스플롯을 그릴 수 있다. min, max, Q1, Q2, Q3, outlier를 확인할 수 있다.

plt.figure(figsize = (6, 8))
sns.boxplot(y = 'weight', data = df)
plt.show()

2) 수치형 변수 2개

① sns.lineplot(): 연속형 + 이산형

② sns.scatterplot(): 연속형 + 연속형

③ sns.regplot(): 연속형+ 연속형

다양한 방법으로 시각화가 가능하다. 어떤 방법으로 시각화를 했을 때 데이터가 가장 잘 드러나는지는 연습해볼 필요가 있는 것 같다.