• Tecnologias • Solução • Rede Social
Proposta do Projeto
Imagine que uma marca de tênis deseja avaliar sua relevância no ecossistema do Mercado Livre. Para isso, é necessário obter KPIs relacionadas ao segmento de tênis na plataforma. O objetivo é coletar informações detalhadas e implementar um dashboard que facilite a visualização e análise desses dados.
Sua equipe de Dados ficou responsável por realizar esse projeto.
- Etapa 1: Extração dos dados usanda Web Scraping;
- Etapa 2: Transformação dos dados usando Pandas;
- Etapa 3: Carregamento dos dados em uma banco de dados SQLite3;
- Etapa 4: Consumindo os dados usando uma Dashboard com Streamlit;
.
├── data
│ ├── data.json
│ └── quotes.db
├── docs
│ ├── about.md
│ ├── index.md
│ ├── javascripts
│ └── stylesheets
├── mkdocs.yml
├── poetry.lock
├── problema_de_negocio.md
├── pyproject.toml
├── README.md
├── reports
│ └── docs
├── requirements.txt
└── src
├── coleta
├── dashboard
├── scrapy.cfg
└── transformacao
Primeiramente, acesse a pasta do projeto e instale as dependências usando o pip ou o Poetry. Para isso, execute um dos comandos abaixo:
poetry install
ou
pip install -r requirements.txt
Agora em seguida, para executar cada etapa, siga as instruções abaixo:
scrapy crawl mercadolivre -o ../data/data.json
python src/transformacao/main.py
streamlit run src/dashboard/app.py