No segundo semestre de 2020, surgiu a ideia de um projeto para ser realizado dentro do laboratório experimental. A demanda era de pegar dados disponibilizados pelo governo através do Censo Educacional e, com os dados relacionados ao Ensino Superior do Brasil, fazer diversas análises.
Porém, são muitos dados disponíveis e estes não são muito bem tratados para poderem ser analisados. Por isso, foi um desafio conseguir pegar todos esses dados e tratá-los da melhor forma, mas a partir de um ETL foi possível disponibilizar uma base a qualquer pessoa.
Realizamos uma entrevista com o Gabriel Zago, um dos participantes desse trabalho, para saber mais sobre como foi o projeto.
De onde vocês pegaram os dados?
Gabriel Zago: Os dados ficam no site do INEP e são divididos com base no tipo de ensino (Fundamental, Superior, Público, etc…). Por serem bases gigantescas que tratam do país inteiro, os dados ficam em “h – 2”, ou seja, se estamos em 2020, os dados disponíveis eram até 2018.
Quais eram os processos técnicos desse trabalho?
Gabriel Zago: Primeiro foi necessário estudar a base, para decidir onde colocaríamos estes dados para uma primeira manipulação e análise. Tivemos que extraí-los e guardar em um banco e para isso utilizamos um código em Python. Além disso, criamos uma máquina virtual para guardar os dados em um Oracle.
Onde e como vocês fizeram os Dashboards?
Gabriel Zago: Fizemos os Dashboards no Tableau, que é uma ferramenta muito utilizada no mercado e aprendemos isso em aula também. No final, conseguimos visualizações muito interessantes a nível nacional.
Qual foi a conclusão do projeto?
Gabriel Zago: Concluímos que conseguimos fazer com que aqueles dados complexos e tratados de uma forma que seria difícil de todos entenderem, agora pode ser acessado de uma maneira mais fácil, visto que criamos caminhos para que os dados se tornassem melhor para análises. Foi muito complexo, mas é assim que as coisas acontecem na vida real, então tivemos um aprendizado enorme e é bom saber que tivemos capacidade de conseguir entregar um bom projeto e que ele é replicável.
Qual foi o principal desafio?
Gabriel Zago: Os principais desafios eram aprender novas métricas e ferramentas de um jeito prático, visto que nunca mexemos com coisas assim, erramos muitos, mas é assim que se aprende. Os dados eram muito complexos e maçantes, o que dificultava bastante também, pois nunca havíamos mexido com esta quantidade de dados.
Como foi participar desse trabalho?
Gabriel Zago: No final foi uma experiência muito legal, aprofundamos nossos conhecimentos em ferramentas que já conhecíamos e adquirimos em novas. Acredito que isso me ajudou a conseguir algumas vagas de estágio pois foi algo bem próximo da realidade e foi muito bom ser orientado pelo professor André, que sempre nos ajudava e orientava.
Participantes do projeto: Gabriel Zago, Gustavo Mattos, Kenzo Bernardes, Lucas Sá, Sophia Marques e Zélia Porto
Orientador: André Insardi
Por Marcelo Lima e Mariana Serrão
