Talk:Brasil/Metodologia/Importação de endereços/Agro
Jump to navigation
Jump to search
pandoc -f markdown_github -t mediawiki lix.md > lix.txt
Revisar tudo para partir desta view:
create view vw_planet_osm_polygon_city_ibge as
select (tags->>'IBGE:GEOCODIGO')::int cod_ibge, round(st_area(way,true)/1000000.0) km2, way, tags
from planet_osm_polygon
where osm_id<0 AND tags->>'boundary'='administrative' AND tags->>'admin_level'='8'
;
select count(*) from vw_planet_osm_polygon_city_ibge; --5646
create view vw_ibge_agro2017_full as
select agro.*, brcods.ibge_id, brcods.name, brcods.wikidata_id, brcods.lexlabel, brcods.cep_range,
cep_range[1] @> cep::int4
OR (cep_range[2] IS NOT NULL AND cep_range[2] @> cep::int4)
OR cep_range[1] @> (cep::int4+1)
as is_cep_in_range,
ST_GeoHash(ST_SetSRID(ST_MakePoint(longitude,latitude),4326),11) as geohash,
ST_SetSRID(ST_MakePoint(longitude,latitude),4326) as geom
FROM ibge_agro2017 agro inner join vw_brcodes_city_ibgesubcod brcods
ON brcods.uf='SP' AND agro.cod_uf=35 AND agro.cod_municipio=brcods.ibge_subcod
WHERE latitude is not null
;
SELECT count(*) as n_dentro
FROM vw_ibge_agro2017_full ag INNER JOIN vw_planet_osm_polygon_city_ibge p ON p.cod_ibge=ag.ibge_id
WHERE ST_Contains(p.way,ag.geom); -- ag.geom && p.way; -- 188549
-- 187474
-- CEP
select count(*) from vw_ibge_agro2017_full where not(is_cep_in_range); -- apenas ~1 mil em 189000
CEPs batem (~1mil fora por faltarem digitos), os pontos também estão no interior do polígono (~1mil fora conferidos abaixo)...
Ver também Agro/Itapetininga.
Teste do poligono do municipio: quando NOT(ag.geom && p.way) apenas 42 ficam de fora, a maior parte Geohash 6gvmh.
SELECT ag.geohash, ag.name, ag.cep, ag.situacao, ag.nom_titulo_seglogr, ag.nom_seglogr, ag.dsc_modificador
FROM vw_ibge_agro2017_full ag INNER JOIN vw_planet_osm_polygon_city_ibge p ON p.cod_ibge=ag.ibge_id
WHERE not( ST_Contains(p.way,ag.geom) ); -- NOT(ag.geom && p.way)
select nom_tipo_seglogr, count(*) n from ibge_agro2017 group by 1 order by 2 desc; -- lista de tipos
-- nom_comp_elem1 em geral vazio mas pode complementar com valores similares (sede, etc.)
select COALESCE(nom_titulo_seglogr,'')||' - '||nom_seglogr, count(*) n from ibge_agro2017 group by 1 order by 2 desc;
Carga dos arquivos zip
mkdir /tmp/agro
mkdir /tmp/agro/utf8
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/11_RONDONIA.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/12_ACRE.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/13_AMAZONAS.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/14_RORAIMA.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/15_PARA.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/16_AMAPA.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/17_TOCANTINS.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/21_MARANHAO.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/22_PIAUI.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/23_CEARA.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/24_RIO_GRANDE_DO_NORTE.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/25_PARAIBA.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/26_PERNAMBUCO.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/27_ALAGOAS.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/28_SERGIPE.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/29_BAHIA.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/31_MINAS_GERAIS.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/32_ESPIRITO_SANTO.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/33_RIO_DE_JANEIRO.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/35_SAO_PAULO.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/41_PARANA.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/42_SANTA_CATARINA.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/43_RIO_GRANDE_DO_SUL.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/50_MATO_GROSSO_DO_SUL.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/51_MATO_GROSSO.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/52_GOIAS.zip
wget -P /tmp/agro -c ftp://ftp.ibge.gov.br/Censo_Agropecuario/Censo_Agropecuario_2017/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/53_DISTRITO_FEDERAL.zip
unzip -p /tmp/agro/11_RONDONIA.zip 11_RONDONIA/11_RONDONIA.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/11_RONDONIA.csv
unzip -p /tmp/agro/12_ACRE.zip 12_ACRE/12_ACRE.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/12_ACRE.csv
unzip -p /tmp/agro/13_AMAZONAS.zip 13_AMAZONAS/13_AMAZONAS.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/13_AMAZONAS.csv
unzip -p /tmp/agro/14_RORAIMA.zip 14_RORAIMA/14_RORAIMA.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/14_RORAIMA.csv
unzip -p /tmp/agro/15_PARA.zip 15_PARA/15_PARA.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/15_PARA.csv
unzip -p /tmp/agro/16_AMAPA.zip 16_AMAPA/16_AMAPA.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/16_AMAPA.csv
unzip -p /tmp/agro/17_TOCANTINS.zip 17_TOCANTINS/17_TOCANTINS.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/17_TOCANTINS.csv
unzip -p /tmp/agro/21_MARANHAO.zip 21_MARANHAO/21_MARANHAO.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/21_MARANHAO.csv
unzip -p /tmp/agro/22_PIAUI.zip 22_PIAUI/22_PIAUI.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/22_PIAUI.csv
unzip -p /tmp/agro/23_CEARA.zip 23_CEARA/23_CEARA.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/23_CEARA.csv
unzip -p /tmp/agro/24_RIO_GRANDE_DO_NORTE.zip 24_RIO_GRANDE_DO_NORTE/24_RIO_GRANDE_DO_NORTE.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/24_RIO_GRANDE_DO_NORTE.csv
unzip -p /tmp/agro/25_PARAIBA.zip 25_PARAIBA/25_PARAIBA.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/25_PARAIBA.csv
unzip -p /tmp/agro/26_PERNAMBUCO.zip 26_PERNAMBUCO/26_PERNAMBUCO.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/26_PERNAMBUCO.csv
unzip -p /tmp/agro/27_ALAGOAS.zip 27_ALAGOAS/27_ALAGOAS.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/27_ALAGOAS.csv
unzip -p /tmp/agro/28_SERGIPE.zip 28_SERGIPE/28_SERGIPE.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/28_SERGIPE.csv
unzip -p /tmp/agro/29_BAHIA.zip 29_BAHIA/29_BAHIA.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/29_BAHIA.csv
unzip -p /tmp/agro/31_MINAS_GERAIS.zip 31_MINAS_GERAIS/31_MINAS_GERAIS.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/31_MINAS_GERAIS.csv
unzip -p /tmp/agro/32_ESPIRITO_SANTO.zip 32_ESPIRITO_SANTO/32_ESPIRITO_SANTO.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/32_ESPIRITO_SANTO.csv
unzip -p /tmp/agro/33_RIO_DE_JANEIRO.zip 33_RIO_DE_JANEIRO/33_RIO_DE_JANEIRO.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/33_RIO_DE_JANEIRO.csv
unzip -p /tmp/agro/35_SAO_PAULO.zip 35_SAO_PAULO/35_SAO_PAULO.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/35_SAO_PAULO.csv
unzip -p /tmp/agro/41_PARANA.zip 41_PARANA/41_PARANA.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/41_PARANA.csv
unzip -p /tmp/agro/42_SANTA_CATARINA.zip 42_SANTA_CATARINA/42_SANTA_CATARINA.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/42_SANTA_CATARINA.csv
unzip -p /tmp/agro/43_RIO_GRANDE_DO_SUL.zip 43_RIO_GRANDE_DO_SUL/43_RIO_GRANDE_DO_SUL.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/43_RIO_GRANDE_DO_SUL.csv
unzip -p /tmp/agro/50_MATO_GROSSO_DO_SUL.zip 50_MATO_GROSSO_DO_SUL/50_MATO_GROSSO_DO_SUL.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/50_MATO_GROSSO_DO_SUL.csv
unzip -p /tmp/agro/51_MATO_GROSSO.zip 51_MATO_GROSSO/51_MATO_GROSSO.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/51_MATO_GROSSO.csv
unzip -p /tmp/agro/52_GOIAS.zip 52_GOIAS/52_GOIAS.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/52_GOIAS.csv
unzip -p /tmp/agro/53_DISTRITO_FEDERAL.zip 53_DISTRITO_FEDERAL/53_DISTRITO_FEDERAL.csv | iconv -f "ISO8859-1" -t "UTF-8" > /tmp/agro/utf8/53_DISTRITO_FEDERAL.csv
# you can check sha1sum
cd /tmp/agro
sha1sum *.zip > sha1sum.txt
cd utf8
sha1sum *.csv > sha1sum.txt