Skip to content

Teste do uso da JSON API em R para extração de dados do INE

Notifications You must be signed in to change notification settings

jdrdionisio/Extrator_INE

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

52 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

"Aplicação "

Índice
  1. Sobre o projeto
  2. Validação
  3. Contacto

Sobre

O projeto "Extrator INE" foi desenvolvido com o objetivo de facilitar a extração e manipulação de dados estatísticos do Instituto Nacional de Estatística (INE), que disponibiliza uma vasta gama de dados socioeconómicos através de sua API com utilidade para a Saúde Pública Nacional. Este extrator foi projetado para consumir os serviços da API do INE, extrair dados formatados em JSON, e convertê-los para csv que podem ser facilmente utilizados para análise e geração de relatórios.

O programa utiliza funções que podem ser adaptadas para uso em relatórios automáticos: ine.get - Extração de dados Por base está feita para minimizar erros do utilizador Extrai tudo se possível e filtra o necessário (1 call para a API) A extração não usa anoa mas observações para atrás minizando pedidos com dados que não existem Testa apriori todas as subdivisões administrativas para escolher a que se aproxima do que foi pedido pelo utilizador ine.meta - Extração de metadados Faz manipulação dos dados recolhidos e exporta como csv

API de referência, disponível em (Link).

Os logos das seguintes instituições foram utilizados no projeto com os seguintes propósitos:

Direção-Geral da Saúde (DGS) e Serviço Nacional de Saúde (SNS): Representam a afiliação profissional no momento da execução do projeto, indicando a vinculação institucional dos colaboradores à DGS e ao SNS.
Instituto Nacional de Estatística (INE): Utilizado para indicar a fonte dos dados extraídos e processados durante o projeto.

É importante destacar que o uso desses logos não implica nenhum tipo de patrocínio, apoio formal ou aval institucional por parte da DGS, DE-SNS ou INE em relação ao projeto ou ao código resultante.

O projeto foi conduzido de maneira independente, e o resultado final não representa de forma oficial as posições, visões ou diretrizes dessas instituições.

O uso dos logos visa apenas cumprir uma função informativa e de atribuição às respectivas fontes e afiliações no contexto do desenvolvimento do projeto.

(Voltar ao topo)

Autores

(Voltar ao topo)

Estrutura da pastas:

Por forma a facilitar a consulta do projeto, o mesmo apresenta a seguinte estrutura:

Extrator_INE 
│
├── www           			# Pasta para imagens institucionais
│   ├── DGS.png
│   ├── INE.gif
│   └── SNS.png 
│
├── datasets             	# Pasta para os dados utilizados no projeto, subdividida em:
│   ├── Indicatores.xlsx    	 # - Dados dos indicadores disponíveis pelo INE, retirado de 
│   │ 								[Link](https://smi.ine.pt/Indicador?clear=True)
│   ├── indicadores.csv   		 # - Dados dos indicadores disponíveis pelo INE ficheiro em teste 
│   │ 								para adicionar funcionalidade
│   └── geo_linkage_2024_v2.csv  # - Dados dos indicadores disponíveis pelo INE ficheiro em teste 
│
├── INE.Rproj				# Utilizado para gerenciar os scripts e pacotes necessários ao desenvolvimento
│
├── app.R					# Contém o código da aplicação principal em shiny
│
└── README.md         		# Descrever organização e metodologia

Os ficheiros do projeto estão divididos em 2 pastas:

(Voltar ao topo)

WWW

Esta pasta contém os logos das instituições associadas ao projeto:

Ficheiros: DGS.png , INE.gif , DGS.png

DGS.png e SNS.png: Representam a afiliação profissional no momento da execução do projeto, indicando a vinculação institucional dos colaboradores à DGS e ao SNS.

INE.gif: Representa o Instituto Nacional de Estatística, de onde os dados utilizados são retirados.

Nota: O uso destes logos não implica qualquer tipo de patrocínio ou apoio formal por parte das instituições mencionadas. Eles são utilizados exclusivamente para fins informativos, indicando afiliações e fontes de dados.

(Voltar ao topo)

Datasets

Existem 2 datasets disponíveis:

Nome: geo_linkage_2024_v2.csv

Descrição - Ficheiro de ligação da Freguesia aos outros níveis administrativos e de saúde

Fonte: A atribuição das ULS foi baseada no Decreto-Lei n.º 102/2023 de 7 de novembro de 2023, disponível em (Link).

Observações:

A freguesia de Campo de Ourique encontra-se duplicada, uma vez que se encontra dividida entre 2 ULS, para permitir filtros para ambas as ULS sem perda de informação e sem necessidade de ULS com nomes concatenados, foi atribuída a designação múltipla.

Este ficheiro contém observações pois tem limitações na sua utilização para as ULS, uma vez que, as divisões por concelho podem não ter resolução para poderem ser atríbuidas a uma única ULS, particularmete as relativas às Áreas Metropolitanas. Casos são concelho de Lisboa, Loures, Porto e Gondomar.

Nome: Indicatores.xlsx e indicadores.csv

Descrição: Ficheiro contendo a seleção de indicadores disponíveis no INE, para minimizar erros de introdução de códigos não utilizados.

Fonte: (Link).

Observações: O indicador foi escolhido por ser o que contém maior resolução ao nível da freguesia e idade. Poderá ser extraído outros indicadores do INE utilizando o código do script ine.qmd. Terá de ser mudado as seguintes linhas de código.

  1. A freguesia de Campo de Ourique encontra-se a contar para a primeira ULS que faz parte, uma vez que se encontra dividida entre 2 ULS, para permitir população total correcta. Exemplo de execução: (left_join(geo_chosen, multiple="first")).

(Voltar ao topo)

Screenshots

App Screenshot

(back to top)

Validação

Deploy or Run

Para fazer o deploy desse projeto pode ser feito no shinyapps.io e pode-se correr com o VScode com o seguinte comando.

  shiny::runApp()

Contribuindo

Contribuições são sempre bem-vindas!

Pré-requisitos

Para correr o projeto é necessário ter instalado o R com uma IDE que permite compilar ficheiros R (por exemplo: Rstudio ou Positron ou VScode).

(back to top)

🔗 Contactos

linkedin

Licença

GNU GPLv3

(back to top)

About

Teste do uso da JSON API em R para extração de dados do INE

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published