[python] selenium에서 Message: unknown error: session deleted because of page crash 에러 발생

 

 

 

파이썬에서 Selenium을 통해 데이터를 가져오려고 하니 아래와 같이 에러가 났다. 

 

# python test.py
Traceback (most recent call last):
  File "test.py", line 12, in <module>
    driver.get("https://google.com")
  File "/root/test/venv/lib/python3.5/site-packages/selenium/webdriver/remote/webdriver.py", line 333, in get
    self.execute(Command.GET, {'url': url})
  File "/root/test/venv/lib/python3.5/site-packages/selenium/webdriver/remote/webdriver.py", line 321, in execute
    self.error_handler.check_response(response)
  File "/root/test/venv/lib/python3.5/site-packages/selenium/webdriver/remote/errorhandler.py", line 242, in check_response
    raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.WebDriverException: Message: unknown error: session deleted because of page crash
from unknown error: cannot determine loading status
from tab crashed
  (Session info: headless chrome=97.0.4692.99)

 

인터넷을 찾아보니 아래와 같은 조치 방법이 나와 있어서 해봤다.

 

조치 1. 

from selenium import webdriver

options = webdriver.ChromeOptions()
# 아래 옵션 추가
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')

driver = webdriver.Chrome('/root/test/chromedriver', options=options)
driver.get("https://google.com")
time.sleep(1)
driver.close()

/deb/shm 디렉토리를 사용하지 않는다는 의미의 --disable-dev-shm-usage 옵션을 추가했다. 그런데 추가를 해도 안된다. 왜 그런가 보니 로컬 PC의 메모리가 512MB로 너무 작아서 그랬다.

 

 

조치 2. 

로컬 메모리가 2GB 이상인 머신에서 해보니 정상적으로 동작했다.