Pipeline em R que harmoniza os dados municipais e metropolitanos da PEMOB (Pesquisa Nacional de Mobilidade Urbana) de 2019 a 2026. O roteiro registra prioridades, decisões e situação atual.
Rscript -e 'renv::restore()' # instala as versões fixadas em renv.lock
Rscript tests/test-pemob.R # testes
Rscript R/build_pemob.R # reconstrói 2019–2026 a partir dos arquivos originais
Rscript R/build_pemob_question_registry.R # atualiza o registro de perguntas
Rscript R/pemob_dataverse.R # prepara os arquivos locais para o DataverseR/build_pemob.R roda R/pemob.R e R/pemob_metropolitana.R, que gravam os
históricos de 2019 a 2024 em data/. Em seguida, R/pemob_2025.R e
R/pemob_2026.R acrescentam as edições seguintes. As saídas mais recentes são
data/pemob_harmonizada_2026.csv e
data/pemob_metro_harmonizada_2026.csv, com uma linha por local e edição e a
coluna participated. Por fim, R/pemob_treatment.R trata as séries de tarifa e
de infraestrutura cicloviária.
Os arquivos originais de 2026 vêm da página do Ministério das Cidades.
O pipeline preserva as respostas anteriores e acrescenta 96 municípios e 37
regiões respondentes em 2026. Nove respostas de infraestrutura cicloviária
entraram no ledger como pending; exigem revisão antes de servir como pontos
de apoio para tratamento. Os metadados de tipo e unidade da edição 2026
continuam vazios onde ainda não houve revisão específica.
R/pemob_dataverse.R grava os arquivos longos municipais e metropolitanos,
participação, codebook, ledger de tratamentos e manifest em
data/dataverse_draft/. O manifest registra o commit, a situação do worktree
e os checksums. O arquivo é um rascunho local; a publicação no Dataverse
depende de revisão. value_type e unit ficam vazios até o registro de
perguntas ter metadados revisados. parsed_unit guarda apenas a unidade
escrita na resposta. missing_code = blank identifica uma célula vazia;
value_raw mantém o texto literal NA quando ele aparece na fonte. As linhas
interpoladas de edições sem participação têm participated = FALSE e
value_raw vazio.
O exportador só substitui um diretório existente quando encontra o marcador
do rascunho, os arquivos esperados e checksums válidos no manifest. Ele
recusa diretórios do projeto e dos insumos.
Em 2019, cada opção das perguntas de múltipla escolha vinha numa coluna própria.
O pipeline junta as opções marcadas com "Sim" numa única resposta. Quando outra
opção da mesma pergunta traz um código de ausência, como "NR", a resposta fica
listada em data/pemob_range_incomplete.csv e
data/pemob_metro_range_incomplete.csv, com as opções sem resposta.
R/pemob.R,R/pemob_metropolitana.R: leitura das edições, compatibilização dos códigos de perguntas e junção dos municípios e regiões.R/build_pemob.R: ponto de entrada do pipeline.R/pemob_2025.R: leitura dos CSVs de 2025 e junção ao histórico.R/pemob_2026.R: leitura dos XLSX de 2026 e junção ao histórico.R/pemob_helpers.R,R/pemob_series.R: leitura das respostas, missing reasons, parsing de valores e camada de revisão.R/pemob_review.R: candidatos a revisão de tarifas e infraestrutura cicloviária.R/pemob_treatment.R: aplica as decisões de revisão e preenche lacunas de uma edição nas tarifas e na infraestrutura cicloviária. Gravadata/pemob_target_treated.csv, com status para cada célula, a contagem por status e o erro da validação por mascaramento.R/pemob_dataverse.R: prepara os arquivos locais da Fase 4 a partir do rebuild e do tratamento.R/pemob_final.R,R/pemob_portal.R,R/pemob_portal_final.R,R/pemob_data_portal.R: cálculos e exportações antigas do portal. Dependem de arquivos que não estão no repositório.data-raw/: arquivos originais da PEMOB.tabelas/: mapa de códigos das perguntas e planilha harmonizada de 2024.data/: dicionários e saídas geradas.docs/internal/: revisões, logs e planos de trabalho.
O dashboard e a tabela do Observatório
leem arquivos próprios no repositório observatorio, não as saídas de
data/portal/v1/.
- Arquivos grandes ficam fora do controle de versão; ver
.gitignore. - O
renvfixa os pacotes listados emDESCRIPTION, que cobrem o build e os testes. Os scripts antigos do portal usam pacotes fora dessa lista. - Projeto RStudio:
simu_pemob.Rproj.