Python. Парсим сайты с помощью selenuim.

Basics of Python and Django. -> Python. Парсим сайты с помощью selenuim.

Python. Парсим сайты с помощью selenuim.

Пример тестового запроса.

import time
from selenium import webdriver

driver = webdriver.Chrome('/drive/chromedriver')  # Optional argument, if not specified will search path.
driver.get('http://www.google.com/');
time.sleep(5) # Let the user actually see something!
search_box = driver.find_element_by_name('q')
search_box.send_keys('ChromeDriver')
search_box.submit()
time.sleep(5) # Let the user actually see something!
driver.quit()

Ошибка

ModuleNotFoundError: No module named 'selenium'

Установка selenium

pip install selenium

ссылка для загрузки драйвера

Загружаем для версии 85 и ложим бинарник в папку drive.

Получаем html

html = driver.page_source
print(html)