Esse repositório tem uma extração de dados da página http://mapa.vemprarua.net/br/, além de dados sobre a votação do impeachment da Presidente Dilma e outras informações de parlamentares vindas do TSE.
Nos dados do VemPraRua, a gente vê uma lista com:
- Parlamentar;
- Casa (Senado/Câmara);
- Partido;
- UF;
- Posição com relação ao impeachment (contra, a favor, indeciso);
- Link para página com maiores informações sobre o parlamentar;
A gente montou um processo de ETL em etl/raw-to-result, que desagua numa tabela de fatos sobre a votação e tem diversas inforamções socio econômicas dos parlamentares.
Essa massa permitiu que montássemos um cubo OLAP e fizéssemos um dashboard montado no topo da plataforma Pentaho com CTools.
Esse painel está disponível na pasta Treinamento/.
São atributos presentes nessa massa de dados:
- voto - sim, nao, ausente, abstencao
- parlamentar - nome
- condicao - suplente, titular
- sexo - genero
- foto - url para uma foto
- regiao - a regiao brasileira por onde foi eleito
- uf - a uf pelo qual o parlamentar foi eleito
- sigla_partido - a sigla do partido pelo qual foi eleito
- partido - o nome completo do partido
- composicao_legenda - a composicao de partidos na legenda
- ocupacao - ocupacao/profissao principal do parlamentar
- dt_nascimento - data de nascimento do parlamentar
- idade_data_eleicao - a idade na data em que foi eleito
- grau_instrucao - grao de escolaridade
- estado_civil - estado civil
- raca - raca auto declarada
- uf_nascimento - uf onde nasceu o parlamentar
- municipio_nascimento - o municipio de nascimento
- email - email (nao obrigatorio)
- despesa_maxima - despesa maxima de campanha
- faixa_etaria - faixa etaria
- idade_atual - idade do parlamentar na data da carga dos dados.
Toda a parte de integração de dados é implementada com o Pentaho Data Integration.
As visualizações também foram construídas no topo da plataforma Pentaho de Business Analytics, em sua distribuição Community Edition.
A extração do VemPraRua depende da lib Jodd. No Pentaho Data Integration, adicionar a lib jodd-x.x.jar em data-integration/lib. A biblioteca ser baixada em http://jodd.org/download/.
O Intuito desse repositório, é implementar com Pentaho, uma solução para ingestão desses dados e apresentação de informações de diversas maneiras através de:
- Cubos OLAP;
- Visões analíticas;
- Painéis de visualizações de dados.
Se estiver vindo dos labs, seguir somente até o passo 4.
- Crie uma tabela no seu banco descrita por
data/ddl.postgres.sql- se você utiliza outro SGBD, sinta-se livre para adaptar o script e enviar-nos um pull-request; - Abra o etl
etl/raw-to-resulte execute-o com o PDI; - Crie uma conexão no seu BA-Server, que aponte para o banco para onde você populou os dados;
- Importe o arquivo
schema/Impeachment.xmlpara o seu ambiente, vinculando-o à conexão que você acabou de criar; - zipe o conteúdo da pasta
Treinamento/e faça upload para o seu repositório de soluções do BA Server; - Abra o dashboard.
ATENÇÃO: Se você estiver resolvendo LABS de nossos cursos de CTools e estiver utilizando essa base como recurso, tenha em mente que o painel aqui disponibilizado (pasta
Treinamento/), assim como as instruções para fazer deploy dele, são apenas para consulta. Os labs que utilizam esse repositório, servem para construir exatamente esse dashboard que disponibilizamos aqui já completo. Então se estiver resolvendo os exercícios e quiser subir esse artefato para comparação, renomeie a pasta antes de zipá-la e fazer upload.
Para definir melhor o que será entregue, serão escritos tickets [issues] nesse repositório.
Para a organização do repositório com soluções Pentaho, favor seguir as dicas de organização de pastas dos vídeos: