Pt:Import/Catalogue/Brazil IBGE Subnormal Agglomerates
O Instituto Brasileiro de Geografia e Estatística (IBGE) fornece um conjunto de setores censitários correspondentes a assentamentos desordenados, densos e de baixa renda, geralmente ilegais ou só recentemente legalizados, a maioria em condições precárias e sem serviços essenciais suficientes. Essa descrição muitas vezes é quase equivalente à de favelas e de outras aglomerações de baixa renda notáveis a ponto de receber nome próprio, usado pelos moradores no dia-a-dia e pela imprensa. Essas áreas foram anteriormente chamadas de "áreas de interesse especial" e passaram a se chamar de "aglomerados subnormais" no censo de 2010. A Wikipédia possui um artigo sobre eles aqui. A maioria das cidades brasileiras no OpenStreetMap, no momento desta importação, não possui essa informação (talvez uma exceção seja o Rio de Janeiro). Mapeá-las é útil também devido à maior chance de criminalidade dentro e ao redor dessas áreas (com algumas exceções, é claro).
Legalidade
O IBGE não forneceu uma licença formal e clara, mas registramos comunicações informais mostrando que os dados do IBGE são de fato considerados de domínio público [1] [2] [3].
Planejamento
Os dados a enviar vão consistir de áreas simples com a etiqueta landuse=residential. Essa tem sido a prática no Rio de Janeiro, e sem objeções em outros lugares até o momento, e foi recomendada nesta discussão sem objeções e com alguma aprovação.
Os contornos dos setores censitários do IBGE não correspondem exatamente aos contornos dos aglomerados, então, para estimular melhorias pela comunidade de mapeadores locais, será adicionada uma etiqueta fixme=*. O processo de importação será concentrado primariamente em melhorar problemas óbvios com os dados. O processo foi inicialmente descrito neste tópico do fórum cujo propósito é manter o contato e a discussão com mapeadores locais e dar outras atualizações.
Como a licença do IBGE requer atribuição, todos os polígonos vão conter a etiqueta source=IBGE. Ela seria invariavelmente acrescentada para que os mapeadores possam avaliar quão confiável os dados são.
Quanto às orientações de importação:
- O processo de importação foi inteiramente concebido em comunicação com a comunidade brasileira
- Etiquetas específicas do IBGE (como ID do setor censitário) não serão importadas porque é "difícil de compreender como gerenciá-los ao modificar objetos (ex.: quebrar, mesclar)"; de fato, parte do trabalho de importação consiste em mesclar algumas dessas áreas para melhorar os dados
- Conflação não será necessária porque este tipo de dados está faltando em todos os lugares, exceto:
- No Rio de Janeiro, onde uma conflação manual será feita
- No Rio Grande do Sul, onde algumas informações vão precisar de conflação manual (em Porto Alegre) e o resto não
- Em Minas Gerais (particularmente em Belo Horizonte), onde os mapeadores locais aceitaram complementar o processo e fazer a conflação manual eles mesmos
- Controle de qualidade (QA) será estimulada adicionando-se uma etiqueta fixme=* como descrito anteriormente
- O usuário especial ftrebienimports será usado para este procedimento
Execução
A primeira parte do processo é converter os arquivos KMZ do IBGE em arquivos OSM usando a extensão OpenData do JOSM. Isso gera vários pontos e áreas sem etiquetas, pontos com uma etiqueta name=* (usados para rotular graficamente os polígonos correspondentes), e relações de multipolígonos contendo etiquetas específicas do IBGE e normalmente apenas 1 membro com o papel "outer". Raramente, a relação pode ter mais de um polígono quando papéis "inner" são necessários.
Esses dados podem ser melhorados para reduzir a quantidade de dados a enviar e manter. Foi desenvolvido um script em Python customizado (que logo será publicado) que faz o seguinte:
- copia a etiqueta name=* da relação multipolígono para o seu único membro
- remove pontos da etiqueta quando for seguro fazer isso (quando seu nome corresponde exatamente ao do multipolígono)
Como esses polígonos serão mapeados usando a etiqueta landuse=residential (já usada no Rio de Janeiro, Belo Horizonte e Porto Alegre), o script também vai acrescentar um prefixo ao nome ("Vila") para ajudar os usuários a distinguir estas áreas das áreas residenciais regulares tais como condomínios privados. Serão observados os casos em que os dados do IBGE já contêm esse prefixo ou alguns outros considerados equivalentes.
- Atualização: Após uma análise cuidadosa, decidiu-se não acrescentar um prefixo quando o nome dado pelo IBGE começa com: vila, núcleo, comunidade, bairro, invasão, loteamento, região, conjunto, ressaca, baixada, igarapé, aglomerado, agrovila, assentamento, ocupação, condomínio (no Distrito Federal), expansão, morro (no Rio de Janeiro, conforme sugerido pela comunidade).
A última parte do processo inclui melhorias manuais antes da submissão. Algumas delas melhoram os resultados do script, outras melhoram os dados do IBGE. Os passos manuais sugeridos incluem:
- Tratar multipolígonos restantes (normalmente os que têm membros com um papel "inner"): deve-se decidir se é melhor manter a borda interna verificando as imagens aéreas
- Tratar pontos de rótulos restantes (normalmente quando mais de uma área tem o mesmo nome, ou os dados têm um erro ou houve um erro de conversão): normalmente podem ser removidos, e às vezes ajudam a encontrar polígonos próximos que possam ser mesclados (após verificar as imagens aéreas)
- Adicionar as seguintes etiquetas aos polígonos e multipolígonos: landuse=residential, source=IBGE e fixme=Ajustar contorno à área onde predominam moradias vizinhas.
- Tratar objetos com numerais romanos no nome (prática do IBGE ao dividir um único aglomerado em múltiplos setores censitários, pouco útil para o usuário final): quando as áreas ficam próximas o suficiente, elas podem ser mescladas, e os numerais romanos quase sempre podem ser removidos
- Tratar objetos com "/" ou " ou " no nome (prática do IBGE para representar nomes alternativos): o segundo nome deve ir para a etiqueta alt_name=*
- Tratar objetos com "." no nome (prática do IBGE para abreviaturas): a abreviatura normalmente deve ser expandida se for uma palavra, e se for um acrônimo os caracteres "." devem ser removidos e todas as letras devem vir em maiúsculas
- Tratar objetos com " e " ou " - " no nome: isto é complicado e pode acabar sendo delegao aos colaboradores locais; deve-se refletir se esses separadores estão concatenando nomes alternativos (alt_name=* deve ser usada pra isso), se indicam que múltiplos aglomerados foram mesclados pelo IBGE por algum motivo (exige conhecimento local, e se for verdade, o nome após o separador deve incluir também o prefixo "Vila" por clareza, e o separador deve ser " - " ao invés de " e "), ou se é só alguma notação interna do IBGE não usada na prática (podem ser removidos do nome)
- Revisão geral de todos os nomes, fazendo correções óbvias nos nomes onde parecer necessário
Pode-se então colar os dados da camada em qualquer camada com dados baixados no JOSM (é necessário baixar algo antes para converter as coordenadas corretamente), e então enviá-los. Uma sugestão para o comentário do conjunto de alterações é "Importação de aglomerados subnormais do IBGE."
Melhorias para os mapeadores locais fazerem
As instruções necessárias aos mapeadores locais foram deixadas na etiqueta fixme=* de cada área importada. Quase todas elas apenas solicitam que o mapeador ajuste as bordas ao contorno da região com moradias densamente conglomeradas.
Progresso
O processo de importação está completo e os seguintes conjuntos foram importados: Acre, Alagoas, Amapá, Amazonas, Bahia, Ceará, Distrito Federal, Espírito Santo, Goiás, Maranhão, Mato Grosso, Mato Grosso do Sul, Minas Gerais, Pará, Paraíba, Paraná, Pernambuco, Piauí, Rio de Janeiro, Rio Grande do Norte, Rio Grande do Sul, Rondônia, Roraima, Santa Catarina, São Paulo, Sergipe, Tocantins