Pt:Import/Guidelines
Lembre que a base de dados atual do OSM representa uma quantidade enorme de trabalho feita por voluntários da comunidade do OSM. Como importações geralmente são uma entrada de grande quantidade de dados, seja por um processo automatizado por 1 só pessoa ou por um processo cuidadosamente articulado por um grupo de pessoas, há um risco maior de danos em larga escala à base de dados. Portanto, é fundamental que se aborde todas as importações com cautela e com a devida quantidade de planejamento.
O objetivo destas orientações é ajudar as pessoas interessadas em importar dados na base do OpenStreetMap e ao mesmo tempo proteger os dados contidos na base. Muitas atividades do OSM apóiam um alto grau de liberdade para os critérios do usuário final, mas importações são mais sensíveis e exigem planejamento mais cuidadoso.
Importações têm o potencial de introduzir problemas significativos na base do OSM e devem ser pensadas minuciosamente. Ainda, muitos consideram que atrair uma grande comunidade de mapeadores é essencial para se construir um mapa excelente. Apesar de importações ajudarem a melhorar a cobertura rapidamente, simulações (en) sugerem que dados importados podem dificular o crescimento da comunidade. Sair e fazer muitas mapping parties, gerar muita publicidade, e conquistar pessoas na área às vezes pode ser uma estratégia de longo prazo melhor do que importar dados.
Seguir estas orientações não garante que uma importação será aceitável e não segui-las não significa que haverá problemas com uma importação. Contudo, estas orientações incorporam muitas lições aprendidas ao longo da história do OpenStreetMap e devem ser ponderadas por qualquer pessoa interessada em importar dados e ao mesmo tempo em proteger a base de dados existente.
O Data Working Group (DWG) é o responsável da OSMF por detectar e barrar importações que não cumpram as orientações. Então, não seguir estas orientações pode elevar o risco ter a sua conta bloqueada.
Claro, tudo isto está aberto à discussão, tal como na lista de e-mails imports@ (en) e na página de discussão deste artigo.
Processo
Se você pensa que o governo da sua cidade/condado/estado/país ou que uma pessoa ou organização sem fins lucrativos ou de algum outro tipo tem uma idéia genial que pode ser usada para melhorar a qualidade do OpenStreetMap, eis aqui o que você precisa saber. Vamos começar com uma rápida visão geral do processo para conduzi-lo ao procedimento mais correto. A maioria dessa seções é expandida em mais seções desta página e em páginas relacionadas.
Passo 1 - Pré-requisitos
- Familiarizar-se com o básico do OpenStreetMap, incluindo a forma de editar, tal como acrescentar detalhes do bairro onde você mora. Considere o guia do iniciante.
- Aprender sobre o histórico das importações e as preocupações sobre o assunto. Veja: Pt:Import/Past Problems
- Identificar dados que você gostaria de importar. Pode ser a linha do eixo das ruas, o contorno de edifícios, vias aquáticas, endereços, etc.
Passo 2 - Interesse da Comunidade
- Antes de iniciar qualquer trabalho de importação, recomenda-se contatar a comunidade para ver se há interesse em importar os dados. Diferentes áreas geográficas no OSM têm níveis diferentes de receptividade a importações. Pode ser que o mesmo tipo de dados bem recebido numa área seja recusado em outra.
- Discuta os seus planos. Mande uma mensagem à comunidade do OSM para notificá-los dos planos que você tem, incluindo um link para a sua página no wiki. Você pode fazer isso com no mínimo um e-mail para imports@openstreetmap.org, talk-(seu país)@openstreetmap.org, e para o grupo específico do OSM específico da área afetada pela importação. Isso lhe permitirá desfrutar das experiências anteriores, que podem até incluir alguém que já ponderou sobre dados que você deseja importar. Confira os grupos de usuários locais, as seções locais, e as listas de e-mail por país.
- Prepare-se para responder as perguntas da comunidade. Discuta com a comunidade sobre a adequação de cada camada a importar. Alguns dados podem ser importados diretamente sem dificuldade, outros são bem mais difíceis (ex.: eixos de ruas). Há alguns amplamente aceitos para importação, e outros sobre os quais não há muito consenso (ex.: limites de lotes/parcelas/terrenos/propriedades).
- Importações mais completas e em larga escala devem ser conferidas por voluntários do OSM mais experientes e com maior inclinação técnica.
- É obrigatório que a comunidade local aceite a importação. Sem interesse local, não se pode proceder com a importação.
Passo 3 - Documentação
- É obrigatório obter as devidas permissões e licenças para uso dos dados no OSM com o proprietário dos dados. Se a licença dos dados não for compatível com a Open Database License, você não pode usar os dados. Muitos lugares já têm políticas de dados abertos adiantadas. Outros têm políticas que são quase abertas, mas têm conflitos com questões como proibições de uso comercial ou requisitos de atribuição (citação da fonte). Às vezes obter permissão para usar os dados, mesmo que a licença existente pareça proibir, é tão simples quanto perguntar à autoridade certa se eles desejam cumprir os termos da Open Database License. Veja Pt:Import/GettingPermission para mensagens de e-mail de exemplo sobre as questões importantes a abordar.
- É obrigatório registrar as permissões que você tem e projeto acrescentando uma linha à tabela no catálogo de importações.
- Cite contribuições dos donos dos dados, se for necessário citá-los, na lista de colaboradores.
- É obrigatório escrever um plano de importação no wiki do OSM. Crie uma página no wiki esboçando os detalhes do seu plano. Este plano precisa incluir informações como os planos para converter os dados em XML do OSM, lidar com conflação, transformar atributos de sistemas SIG em etiquetas do OSM, talvez simplificar dados, dividir o trabalho, reverter em caso de problemas, políticas de tamanho dos conjuntos de alterações, e controle de qualidade. Um exemplo disso se encontra em Pt:Import/Plan Outline.
Passo 4 - Revisão da Importação
- É obrigatório disponibilizar sua importação para revisão na lista de e-mail imports@openstreetmap.org. Não envie quaisquer dados até que o projeto seja revisado antes.
- Se possível, prepare os dados e os disponibilize para revisão.
Passo 5 - Envio
- Siga o seu plano.
- Registre o seu progresso.
- Atualize a comunidade sobre o seu esforço.
- Avise todo o mundo quando tiver terminado.
- É obrigatório usar uma conta de usuário dedicada.
Certifique-se que a licença dos dados está OK
Só nos interessamos por dados 'livres'. Devemos poder liberar os dados sob a nossa Licença do OpenStreetMap. Obviamente temos permissão para usar fontes de dados em domínio público, que até não são poucas, mas além delas fica mais complicado.
Em setembro de 2012 o OpenStreetMap migrou para a Open Database License. Então os dados que você tem devem ser compatíveis com ela. Além disso, quanto à sua conta de importação, você deve poder concordar com as condições do colaborador, que inclui cláusulas permitindo relicenciar sob outra licença aberta e livre caso a comunidade assim deseje.
Você não pode reivindicar direitos de cópia para si como importador. Por exemplo, se você importar dados em domínio público, você não pode tentar restringir o uso dos dados importados. A sua conta de importação não pode recusar permissões dadas pelos criadores originais dos dados que você está importando.
Também observe os detalhes do requisito de atribuição. Podemos oferecer alguma atribuição: podemos creditar as fontes no nosso site (não na página inicial, mas na lista dos colaboradores aqui no wiki, e em www.openstreetmap.org/copyright para contribuições em escala muito grande). Podemos vincular informação sobre elas à conta do usuário realizando as edições de importação, o que quer dizer que o histórico de edições permitirá que qualquer pessoa rastreie a fonte da doação de dados. Podemos também colocar o nome delas nas etiquetas 'source' dos dados subjacentes. Essa é talvez a forma que melhor evidencia a fonte, mas pode acabar sendo removida por editores trabalhando com os dados. O crédito ao "autor" termina aqui. Certamente o que não podemos fazer é exigir que os usuários finais dos nossos dados/desenhos (renderizados) dêem crédito a um doador de dados em particular. Com isso em mente, nossa atribuição pode ser legalmente insuficiente e pode ser considerada insatisfatória pelos "autores" originais dos dados.
Com frequência descobrimos que dados anunciados sob uma licença compatível na verdade foram derivados de fontes que consideramos não-livres. Por exemplo, apesar de alguns dados geográficos estarem disponíveis na Wikipédia sob uma licença Creative Commons, muitos acreditam que no OSM alguns dados simplesmente foram derivados do Google Maps e por isso não estão realmente disponíveis sob a licença declarada. Nesses casos a regra estabelecida na comunidade é não importar dados cuja proveniência seja incerta, indiferente à licença declarada. Melhor prevenir do que remediar.
Discuta a importação com a comunidade
É importante discutir a proposta de importação com a comunidade a cada passo. Primeiro de tudo adicione uma entrada em Potential Datasources. Aqui você pode descrever brevemente o que você descobriu sobre a licença dos dados e sobre a precisão dos dados em relação ao que já temos. Se precisar de mais espaço, vincule a uma nova página do wiki sobre a fonte dos dados.
Discuta a importação na lista de e-mails imports@openstreetmap.org e com as devidas comunidades locais. Muitas comunidades locais têm páginas no wiki próprias e/ou uma lista de e-mails. Coordene-se com outras pessoas com planos similares.
Você deve discutir com a comunidade local mesmo que já tenham discutido uma importação idêntica ou similar antes. Isso faz com que eles saibam do plano que você tem e possam encontrar quaisquer problemas ou conflitos antes que danos ocorram. Isso é verdade especialmente se os dados estiverem disponíveis há muito tempo sem terem sido importados - isso não quer dizer que é aceitável proceder sem discutir com a comunidade local.
Sempre comece discutindo a investigação que você fez sobre licenciamento e precisão. Se o consenso for que os dados não atendem aos nossos critérios, não se decepcione. Marque-a como rejeitada na página de fontes possíveis, e forneça os motivos. Documentar essas decisões é por si só uma contribuição proveitosa. Mas se as pessoas estiverem satisfeitas com a sua proposta, siga para a discussão da implementação de scripts de importação, etc.
Importações relativas a questões humanitárias, reação a catástrofes, ou desenvolvimento devem consultar o HOT (idealmente na lista de e-mails do HOT).
Documente a importação no wiki
Se você prosseguir com a importação, crie uma página sobre ela no wiki, com todos os detalhes. Crie uma entrada na página catálogo de importações e vincule de lá para a sua página. Também vincule à sua página a partir das páginas de projetos de mapeamento. A página deve ter os seguintes detalhes:
- Precisão da fonte de dados e licenciamento (resumido em Potential Datasources)
- Programas de importação que você pretende usar; compartilhe o código-fonte que você está usando
- Exatamente como os dados serão traduzidos de outro formato para o formato do OSM
- Como os dados resultantes vão ficar, as etiquetas exatas que serão usadas
- Um link para uma amostra dos dados na base de dados de teste
- Nome de usuário da conta fazendo a importação, e outros detalhes de como os conjuntos de alteração serão etiquetados
E à medida que a importação progride:
- Links para exemplos de dados importados na base de dados principal.
Use uma conta de usuário dedicada
Crie um novo usuário para a importação. Não use a sua conta de usuário padrão do OSM. Use a página de usuário da conta para recolher dados relacionados à fonte e aos detalhes de contato da importação. Além disso, fazer assim significa que a atribuição pode normalmente ser realizada no nome de exibição da conta, ou na página de usuário da conta, que é melhor do que colocar numa etiqueta, já que o histórico de edição do usuário é um registro permanente da fonte e não intefere tanto com as etiquetas ou com o aumento do tamanho da base. Por esses motivos, prefere-se criar uma conta de usuário dedicada ao invés de usar uma etiqueta source=*. Para importações distribuídas (envolvendo a comunidade toda), faça com que cada pessoa crie uma conta própria de importação, por exemplo SeuNomeDeUsuárioComum_import. Não é obrigatório que toda importação seja feita com a mesma conta de usuário.
Descumprir esta regra é um dos motivos que podem levar a sua conta a ser temporariamente bloqueada pelo DWG.
Pense sobre as etiquetas
A importação deve usar etiquetas que são familiares à comunidade do OSM, ao invés de inventar um conjunto próprio de etiquetas.
Talvez você tenha alguns metatados como IDs usados pelos dados originais. Se estes metadados forem úteis ao OSM, então defina um prefixo próprio e use-o para essas etiquetas de metadados. A importação do TIGER por exemplo usa o prefixo "tiger:". O ID original de um objeto TIGER fica na etiqueta "tiger:tlid".
Contudo, não exagere com os metadados. O OSM só se interessa naquilo que é verificável. Isso não inclui (por exemplo) chaves estrangeiras para outra base, a menos que isso seja absolutamente necessário para manter os dados no futuro. A fonte de dados pode ter muitos muitos campos, mas pode ser difícil de trabalhar com objetos do OSM com muitas muitas etiquetas. Encontre um equilíbrio. Descubra (discuta!) por quais campos a comunidade do OSM se interessa.
Cuidado com os recursos do servidor
Certifique-se de não sobrecarregar o servidor ao importar grandes quantidades de dados. A importação do TIGER teve que ser distribuída por alguns meses pra não aniquilar o servidor central! Importe os dados em pequenas parcelas ou reduza a velocidade dos scripts de importação que você está rodando. Se tiver dúvidas, converse com os administradores do sistema.
Não estrague os dados!
Isso deveria ser óbvio, mas não estrague os dados do OpenStreetMap! Sempre pense do ponto de vista dos contribuidores comuns do OpenStreetMap trabalhando no iD e no Potlatch e nunca suponha que essas pessoas vão alegremente arrumar a bagunça que você fez. Se você não tiver experiência com o iD e Potlatch, você não deveria estar fazendo importações. O JOSM tende a ser um pouco melhor para desemaranhar dados confusos, mas ainda é trabalhoso. De qualquer forma a maioria dos usuários (particularmente os novos) usam o iD e o Potlatch. Os novos dados vão prejudicar a experiência deles em editar no OpenStreetMap? Se sim, não queremos.
Não ignore os dados existentes e importe dados novos por cima. Em geral é uma má idéia colocar dados sobre dados (ver anotações sobre dados a seguir), mas você também deve sempre lembrar que dados existentes podem ser dados podem se importantes para um usuário real que os está mantendo. Você pode tentar determinar isso com métodos (semi-)automáticos, e tratar os dados existentes de acordo. Por exemplo, em áreas onde usuários reais estão trabalhando, você pode decidir deixar os dados como estão.
Se uma importação der errado, ou se você precisou interromper um envio na metade, isso deve ser arrumado (revertido) imediatamente. Se precisar de ajuda, contate a lista Imports e/ou a Talk. Mas a importação não vai dar errado porque você a testou cuidadosamente na base de testes – certo?
Se você não sabe como reverter uma importação, já de início não faça a importação.
Orientações específicas sobre dados
Não coloque dados por cima de outros dados
Diferente de sistemas de SIG tradicionais, o OpenStreetMap não tem o conceito de camadas. Dados em cima de dados é uma bagunça. É o tipo de bagunça que dificulta muito o trabalho de usuários reais nos editores normais do OpenStreetMap. O mapa de pontos duplicados revela importações que não seguiram essa orientação (importadores desonestos do TIGER causaram boa parte disso, mas infelizmente há muitas outras importações caóticas recentes).
Se os novos dados estão num formato SIG tradicional em camadas, você vai precisar de uma abordagem diferente. Talvez mesclar as camadas e calcular as melhores etiquetas agregadas, mas você sempre pode evitar importar os dados diretamente, e ao invés disso fornecer uma fonte de dados da qual os usuários podem importar manual- e seletivamente, ou um WMS sobre o qual possam traçar (como o Natural Resources Canada -Toporama).
Pense em simplificar
Shapefiles muitas vezes incluem detalhes demais, por exemplo mais pontos que o necessário para representar curvas, ou mais que dois pontos para representar uma linha perfeitamente reta. Isso pode ser visto particularmente com grandes áreas de terrenos que têm pontos dispostos a poucos metros uns dos outros ou que parecem dentados/serrilhados porque a resolução é insuficiente ou alta demais. Ferramentas como o Map Shaper podem ser usadas para simplificar shapefiles com detalhes demais. Lembre de pensar em como os dados aparecem e podem ser trabalhados no Potlatch.
Ver também
Para exemplos do processo de importação, veja: