무한스크롤 페이지에서 크롤링을 할 일이 생겼다.

무한스크롤 페이지에서 항목의 목록을 모두 수집하기 위해서는 스크롤 바를 맨 끝까지 내려야한다.

따라서 페이지를 내려도 계속해서 새로운 내용이 로딩되는 무한스크롤 웹페이지에서 스크롤 바를 계속해서 내리는 방법을 알아보자.

여러 가지 방법이 있는데, Keys.PAGE_DOWN를 사용할 수 있다.

1. 필요 라이브러리를 불러온다.

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By

2. Keys.PAGE_DOWN을 사용하여 페이지 맨 끝에 도달할 때까지 스크롤 바를 내린다.

last_count = len(driver.find_elements(By.CSS_SELECTOR, 'a.contents__title'))  # 현재 페이지에 로드된 리뷰 링크 수

while True:
    body = driver.find_element(By.TAG_NAME, 'body')
    body.send_keys(Keys.PAGE_DOWN)
    time.sleep(1)

    new_count = len(driver.find_elements(By.CSS_SELECTOR, 'a.contents__title'))
        
    # 만약 새로운 링크가 더 이상 로드되지 않는다면 종료
    if new_count == last_count:
        print("더 이상 스크롤할 수 없습니다.")
        break
    
    last_count = new_count  # 개수 업데이트

body = driver.find_element(By.TAG_NAME, 'body')를 사용하여 body를 선택한 이후, send_keys 함수를 통해서 page down 키를 누르는 것과 동일한 효과를 준다.

이때, 무한루프를 사용해서 계속해서 스크롤을 내리기 때문에 무한루프 탈출 조건을 설정해야 한다.

나는 스크롤을 내려도 content의 개수가 바뀌지 않을 때 무한루프를 탈출할 수 있도록 조건을 설정하였다.

time.sleep(1)은 페이지 로딩에 딜레이가 걸릴 수 있기 때문에 설정한 값이다.

class & self

class(클래스)란, 데이터와 기능이 함께 묶여 있는 하나의 틀이다. 이 틀을 이용하여 여러 개의 object(객체)를 만들 수 있다. 각각의 객체는 독립적이어서 서로에게 영향을 주지 않는다.

이해하기 쉽게 예를 들어 보자.

클래스는 초콜릿을 만드는 틀과 같다. 녹은 초콜릿을 틀에 부어 초콜릿을 무한정 생산할 수 있다. 이 틀로 만들어진 각각의 초콜릿을 객체라고 생각하면 된다.

각각의 초콜릿은 독립적이므로 초콜릿에 어떤 데코레이션을 올리더라도 다른 초콜릿에는 영향을 주지 않는다.

클래스를 이용하면 같은 기능을 하는 독립적인 여러 객체를 생성할 수 있기 때문에 편리하다. 일기장 프로그램을 작성해야 하는데, 사람마다 다른 일기장을 만들어줄 때 이걸 일일이 코드로 작성하면 시간낭비, 그리고 자원낭비(!)이기 때문이다.

클래스와 객체는 다음과 같이 생성할 수 있다.

class chocoMaker:
	pass
    
a = chocoMaker() # a 객체 생성
b = chocoMaker() # b 객체 생성

아직 chocoMaker라는 클래스에 아무 값이나 기능이 포함되어있지 않다.

클래스에 함수를 포함시키는 방법은 다음과 같다.

class chocoMaker:
    def decorate(self, color, type):
    	self.color = color
        self.type = type
        
a = chocoMaker()
a.decorate('white', 'sprinkle')

클래스 내부의 함수는 method(메서드)라고 부른다.

메서드의 첫 번째 매개변수는 대개 self를 쓴다. self의 역할은 객체 자기 자신을 호출하는 것이다.

객체를 생성하고 메서드를 사용할 때는 위와 같이 객체.메서드(...) 이런 식으로 작성해야 한다. 그런데 첫 번째 매개변수였던 self는 실제로 사용할 때 입력하지 않아도 된다. 객체.메서드(...)에서 객체가 self로 자동으로 전달되기 때문이다.

만약 이 방법이 마음에 들지 않는다면 아래와 같이 작성해도 된다.

a = chocoMaker()
chocoMaker.decorate(a, 'white', 'sprinkle')

decorate 메서드의 수행문을 살펴보자.

a.decorate('white', 'sprinkle')과 같이 작성하면, a라는 객체 내부에 color, type 객체변수가 생성되고, 'white', 'sprinkle'값이 저장된다.

클래스로 만든 여러 가지 객체 간엔 독립성이 보장되므로, 한 객체의 객체변수의 값을 수정했다고 하여 다른 객체의 객체변수 값이 달라지지 않는다.

init/생성자

chocoMaker 클래스에 다른 메서드도 추가해보자.

class chocoMaker:
    def decorate(self, color, type):
    	self.color = color
        self.type = type
    def plate(self):
    	res = self.color + self.type
        return res

plate 메서드를 추가하였다. 이 상황에서 다음과 같이 코드를 작성하면 오류가 발생한다.

b = chocoMaker()
b.plate()

이유는 앞서 만들어두었던 decorate 메서드를 거치지 않고는 plate 메서드를 실행할 수 없기 때문이다.

하지만 decorate 수행 후 plate를 수행하도록 하면 불편하다. 한 번에 해결할 수 있는 방법이 없을까?

우리는 이럴 때 생성자(constructor)를 사용한다. 생성자는 객체를 생성할 때 자동으로 호출되는 메서드를 의미한다. __init__으로 사용할 수 있다.

다음 코드를 살펴보자.

class chocoMaker:
    def __init__(self, color, type):
        self.color = color
        self.type = type
    def decorate(self, color, type):
    	self.color = color
        self.type = type
    def plate(self):
    	res = self.color + self.type
        return res

c = chocoMaker('pink', 'decopen')

c라는 객체를 만들 때, decorate를 불러올 필요 없이 chocoMaker와 함께 원하는 값을 전달할 수 있다.

상속

코드를 짜다 보면 같은 속성을 갖는 새로운 클래스를 생성해야 할 필요가 있다.

예를 들어, 색깔과 데코레이션의 종류만을 갖는 chocoMaker 클래스에서 데코레이션의 개수를 추가한 클래스를 새로 만드는 경우를 생각해보자.

새로운 클래스를 생성하는 것보다 기존의 chocoMaker 클래스를 이용하여 만드는 편이 훨씬 간단하다. 이럴 때 이용하는 것이 super().__init__를 이용한 상속이다.

class superChocoMaker(chocoMaker):
    def __init__(self, color, type, num): # num 추가
        super().__init__(color, type)
        self.num = num
        
    def superPlate(self): # 기존 클래스의 메서드를 상속
        super().plate()

클래스를 생성할 때 클래스 옆 괄호 안에 상속할 클래스의 이름을 적어둔 다음, super().__init__의 input으로 상속할 기존 클래스의 요소의 이름을 적어준다.

때로는 새로 만든 클래스에서 기존의 메서드와 같은 이름을 사용하지만 다른 기능을 하는 메서드를 만들고 싶을 수 있다. 그럴 때에는 그냥 상속받은 (새로 만든) 클래스 내부에서 메서드를 다시 정의하면 된다.

기존 클래스의 메서드를 상속받고 싶을 때는 super().메서드와 같은 방식으로 작성한다.