Soluções completas em Data

Sumário

• Sobre
• Estrutura de Diretórios
• Pré-requisitos
• Como Executar os Testes
  • Data Transformation
  • Database
  • Interface & API
  • Web Scraping
• Considerações Finais

Sobre

Estrutura de Diretórios

• data_transformation
  Transformação de Dados – Realiza extração, transformação e limpeza dos dados.
  Consulte o README para instruções detalhadas e execução dos scripts.

• database
  Banco de Dados – Contém scripts SQL para criação, importação e consulta dos dados.
  Veja o README para orientações sobre a configuração e execução dos scripts.

• interface_api
  Interface & API – Implementa a API com FastAPI e a interface frontend (Vue 3), possibilitando a consulta de dados das operadoras.
  As instruções de uso estão no README.

• web_scraping
  Web Scraping – Realiza a extração e compactação de PDFs a partir de páginas web.
  Detalhes sobre a configuração e execução encontram-se no README.

Pré-requisitos

• Python 3.x
• Node.js (para o frontend)
• Dependências específicas para cada teste (consulte os READMEs dentro de cada diretório)
• Banco de dados (para o teste banco de dados)

Como Executar

Data Transformation

1. Entre no diretório:

   cd data_transformation

2. Instale as dependências:

   pip install -r requirements.txt

3. Execute o script principal:

   python scripts/main.py

Database

1. Siga as instruções do README para criação das tabelas, importação dos dados e execução das consultas.

Interface & API

1. Crie um ambiente virtual e instale as dependências:

   python -m venv venv
   venv\Scripts\activate  # Windows
   pip install -r requirements.txt

2. Inicie o servidor da API:

   uvicorn api.main:app --host 0.0.0.0 --port 8000

3. Para a interface frontend, acesse o diretório e execute:

   cd frontend
   yarn install
   yarn dev

4. A documentação interativa da API está disponível em http://localhost:8000/docs.

Web Scraping

1. Entre no diretório:

   cd web_scraping

2. Instale as dependências:

   pip install -r requirements.txt

3. Execute o script principal:

   python scripts/web_scraping.py

Considerações Finais

• Use ambientes virtuais (virtualenv ou venv) para isolar as dependências de cada solução.
• Verifique se os arquivos de configuração e os dados necessários estão corretamente posicionados conforme descrito.
• Mantenha a documentação atualizada consultando as instruções específicas de cada teste.

---

Autor: Lucas Elias Dickmann