[Selenium] 무한스크롤 페이지 스크롤 끝까지 내리는 방법

무한스크롤 페이지에서 크롤링을 할 일이 생겼다.

무한스크롤 페이지에서 항목의 목록을 모두 수집하기 위해서는 스크롤 바를 맨 끝까지 내려야한다.

따라서 페이지를 내려도 계속해서 새로운 내용이 로딩되는 무한스크롤 웹페이지에서 스크롤 바를 계속해서 내리는 방법을 알아보자.

 

여러 가지 방법이 있는데, Keys.PAGE_DOWN를 사용할 수 있다.

 

1. 필요 라이브러리를 불러온다.

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By

 

2. Keys.PAGE_DOWN을 사용하여 페이지 맨 끝에 도달할 때까지 스크롤 바를 내린다.

last_count = len(driver.find_elements(By.CSS_SELECTOR, 'a.contents__title'))  # 현재 페이지에 로드된 리뷰 링크 수

while True:
    body = driver.find_element(By.TAG_NAME, 'body')
    body.send_keys(Keys.PAGE_DOWN)
    time.sleep(1)

    new_count = len(driver.find_elements(By.CSS_SELECTOR, 'a.contents__title'))
        
    # 만약 새로운 링크가 더 이상 로드되지 않는다면 종료
    if new_count == last_count:
        print("더 이상 스크롤할 수 없습니다.")
        break
    
    last_count = new_count  # 개수 업데이트

 

body = driver.find_element(By.TAG_NAME, 'body')를 사용하여 body를 선택한 이후, send_keys 함수를 통해서 page down 키를 누르는 것과 동일한 효과를 준다.

이때, 무한루프를 사용해서 계속해서 스크롤을 내리기 때문에 무한루프 탈출 조건을 설정해야 한다.

나는 스크롤을 내려도 content의 개수가 바뀌지 않을 때 무한루프를 탈출할 수 있도록 조건을 설정하였다.

time.sleep(1)은 페이지 로딩에 딜레이가 걸릴 수 있기 때문에 설정한 값이다.