webscraping quotes selenium

About

Percorre todas as páginas do site Quotes to Scrape para armazenar os dados de cada citação.

output

As informaçãos são gravadas num arquivo .json, gerado a partir da execução do programa, seguindo a estrutura do dicionário:

{
    "quote": quote,
    "author": {
         "name":author,
         "url":url
     },
    "tags":[tags]
}

hide browser

para ocultar o navegador ao rodar a aplicação pode ser adicionado um argumento nas opções de configuração do chrome driver:

chrome_options.add_argument('--headless')

Tools

• Python
• Selenium Framework
  • webdriver: utilizado chrome driver para interação com browser
    • webdriver-manager: realiza o download do driver automaticamente de acordo com a versão instalada do chrome

execute

python main.py