vscode를 이용해서 git 관리를 하고 있는데 (코드를 따로 작성하지는 않고 확장 프로그램을 이용한다) 난생 처음 보는 오류를 맞닥뜨렸다."unexpected disconnect while reading sideband packet fatal: the remote end hung up unexpectedly everything up-to-date"이라는 창이 뜨면서 푸시가 되지 않는 현상이 발생했다.인터넷 오류인가 싶어서 다른 와이파이를 이용하였지만 이 문제는 아니었다. 구글링을 통해 오류의 원인을 파악했다. 기본적으로 푸시할 수 있는 한 개 파일의 최대 용량이 1MB여서, 용량 초과한 파일을 push할 때 오류가 발생한다고 한다. 이번에 처음으로 1MB가 넘는 파일을 업로드해서 그런 것이었다.이를 ..

Ensemble Learning이란?여러 개의 base-learner(base-model)를 조합하는 모델 Bagging- 다른 이름: Bootstrap Aggregating- Bootstrap: Random Sampling 방법론 중 하나. 복원 추출을 시행한다.- 복원 추출을 통해 동일한 크기의 데이터셋을 여러 개 생성한 후, 앙상블을 구성하는 학습 방식- 단점: 랜덤 샘플링은 운에 의존한다.만약, decision tree를 학습시킨다고 가정해보자.boostrap으로 데이터를 추출할 경우, 복원 추출이기 때문에 같은 데이터가 여러 번 뽑힐 수 있고, 그렇기 때문에 데이터셋끼리 유사하다. 그러므로 이런 경우 decision tree의 root node는 모델 간에 항상 비슷해질 수밖에 없다.  Boos..

무한스크롤 페이지에서 크롤링을 할 일이 생겼다.무한스크롤 페이지에서 항목의 목록을 모두 수집하기 위해서는 스크롤 바를 맨 끝까지 내려야한다.따라서 페이지를 내려도 계속해서 새로운 내용이 로딩되는 무한스크롤 웹페이지에서 스크롤 바를 계속해서 내리는 방법을 알아보자. 여러 가지 방법이 있는데, Keys.PAGE_DOWN를 사용할 수 있다. 1. 필요 라이브러리를 불러온다.from selenium import webdriverfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.chrome.options import Optionsfrom selenium.webdriver.common.by import By 2. Keys.PAGE_DOWN..

학회에서 주어진 지문에 대한 객관식 질문을 생성하는 Question Generation NLP 프로젝트를 진행 중이다.QG 프로젝트에 사용할 수 있는 대표적인 데이터셋을 소개하고자 한다. 1. SQuAD https://rajpurkar.github.io/SQuAD-explorer/ The Stanford Question Answering DatasetWhat is SQuAD? Stanford Question Answering Dataset (SQuAD) is a reading comprehension dataset, consisting of questions posed by crowdworkers on a set of Wikipedia articles, where the answer to every qu..

다이브 가을 기수 2주차 과제 - Audio Classification Model (오디오 분류 모델) 만들기 과제 하는 과정 간략하게 정리해보도록 하겠다. 우선, 나는 딥러닝을 그렇게 잘 아는 편은 아니라서 가장 쉬운 방법으로 과제를 해결하기로 하였고 그 과정에서 채택된 것이 바로 CNN 모델이다. Tensorflow를 이용하였다. (학교에서 시키는 과제는 파이토치를 쓰기 때문에,, 텐서플로우는 처음이다) 1) 오디오 데이터 불러오기 사용한 데이터 설명은 다음과 같다. 14개의 악기들별 소리가 저장되어 있는 데이터셋입니다. 오디오를 MFCC 계수의 개수를 13개로 설정한 MFCC 형태로 전처리했으며 전처리 방식은 아래와 같습니다. 전체 데이터셋에서 무작위로 하나의 악기를 고르고, 해당 악기 레이블의 데..