Zh-hans:Planet.osm

From OpenStreetMap Wiki
Jump to navigation Jump to search

Planet.osm 是一个包含OpenStreetMap数据的单一文件:组成地图的所有节点、路径和关系(nodes, ways and relations)。每周会生成一个新的版本。这是一个很大的文件(在2021年1月1日,通过下载得到的97.9GBbzip2压缩格式文件或55.0GBPBF压缩格式文件中解压得到的普通OSM XML文件高达1352.6GB大小)。

包含单个大陆、国家和都会区域的OpenStreetMap数据被称作提取数据(Extracts)。

格式

两种主要在用格式是PBF 或bzip2压缩格式OSM XML。PBF (协议缓冲格式)是一种压缩二进制格式,文件更小便于下载、运行更快便于处理,需要的话应该尽可能使用这种格式。大多数使用OSM数据的通用工具支持PBF。

关于所有osm文件格式和转换工具,请查看OSM文件格式

如果您使用的是传统的GIS工具,您可能需要看一看已处理数据提供者(提供已经将OSM数据转换成特定格式数据的数据供应者。

下载

通过下载数据(downloading data) 页面查找工具,可以让数据下载变得更方便,其中有一个是可以同时利用所有镜像,并且自动进行md5哈希验证以及其它工作的工具。

BT下载(BitTorrent)

从2020年9月开始,开始实施官方种子(official torrents)

不论您安装了哪一个BT客户端(BitTorrent client),都可以进入您感兴趣的目录(例如,pbf/) 并点击 .torrent 文件!

(历史信息已移入讨论页

Planet.osm镜像

出于安全原因,可能的话尽量考虑使用HTTPS连接,而不是HTTP或FTP。 一些互联网用户在使用仅IPv4数据源时可能会遭遇一些问题,他们的互联网访问(特别是使用移动网络访问)仅通过IPv6提供本地路由,而IPv4仅被互联网服务商(ISP)以临时网络转换(NAT)方式通过代理(proxy)提供(这种方式对特别大的文件下载可能不可靠,及时使用HTTPS连接)。

鼓励数据镜像支持IPv6连接和安全协议以可靠的授权其数据源(因为数据已公开发布,不需要密码,因此这不会在服务器端产生性能问题,但是这需要安装服务器端证书并其到期之前定期更新)。这些数据源的RSYNC支持在支持其他本地镜像的快速增量同步方面也是有用的,这也应该是安全的(be secured) 。一些镜像也支持BT协议(BitTorrent protocol)下的点对点传输(peer-to-peer delivery)。

所有文件都伴随有一个.md5签名文件。它用来检查您的下载(特别是使用FTP时:使用RSYNC 或种子(Torrent)通常会产生避免产生下载问题,例如被截断的文件)! 您应该先在尝试下载实际数据(当镜像与最近转储同步时,它有时会进入一个临时状态)之前,检查 它的 .md5文件是否存在。并且保证您的浏览器或下载客户端支持超过2G大小的单个文件的传输,还有您的本地操作系统和文件系统支持存储这样的文件。

镜像网站 可用数据 网络协议
推荐网址 本地 更新 差异 .osm.pbf .osm.bz2 HTTP HTTPS FTP RSYNC Torrent IPv6
planet.openstreetmap.org/ (原始源,请尽量使用下方其它镜像)
GB
(源) 是 是 是 没有 是 是 是 是 是
ftp5.gwdg.de/pub/misc/openstreetmap/planet.openstreetmap.org/
DE
每日 是 是 是 是 是 是 是 是 是
free.nchc.org.tw/osm.planet/ (source: gwdg.de)
TW
每日 是 是 是 是 是 是 是 是 是
download.openstreetmap.fr/
FR
每分钟 是 没有 没有 是 是 没有 没有 没有 是
ftpmirror.your.org/pub/openstreetmap/
US
每日 是 是 是 是 是 是 是 是 是
ftp.fau.de/osm-planet/
DE
每日 没有 是 没有 是 是 是 是 是 是
mirror.init7.net/openstreetmap/
CH
每日 没有 是 是 是 是 没有 是 是 是
osm.openarchive.site (source: ftp.dau.de). 不发布“.torrent”文件,但是担当torrent网络种子。
DE,SG & US
每日 没有 是 没有 是 是 没有 没有 是 没有
ftp.snt.utwente.nl/pub/misc/openstreetmap/
NL
每周 没有 是 是 是 是 是 是 没有 是
ftp.spline.de/pub/openstreetmap/
DE
每周 没有 是 是 是 是 是 是 是 没有
ftp.osuosl.org/pub/openstreetmap/
US
每周 没有 是 是 是 是 是 是 没有 是
download.bbbike.org/osm/planet/
DE
每周 没有 是 是 没有 是 没有 没有 没有 没有
downloads.opencagedata.com/planet/
DE
每周 没有 是 是 是 是 没有 没有 是 没有
ftp.nluug.nl/maps/planet.openstreetmap.org/
NL
每周 没有 是 是 是 是 是 没有 没有 是
planet.passportcontrol.net/pbf/
JP
每周 没有 是 没有 没有 是 没有 没有 没有 没有
archive.org/details/osmdata (互联网档案网站,可在不同项目下使用:需要浏览每一个图标去查找您所要找的,浪费掉大量时间!选择列表视图并启用标题下的详情,去查看最初发表而不是最后同步日期。 C没能找到2018年以来更新任何 的planet file。它还仍旧同步吗?)
US
2018年后无更新 没有 没有 没有 是 是 没有 没有 是 没有
osm.cquest.org/torrents/ 提供替代种子,但相同哈希值.pbf文件是隐藏的。
FR
每周

,但是正在测试并手动更新数据

没有 是 没有 是 是 没有 没有 是 没有
planet.osm-hr.org 最近30天文件。
HR
每日 没有 是 是 是 是 没有 没有 是 是

国家和区域摘编数据(extract)

全球导出资源

镜像 地区 更新 差异 HTTPS 是否包含元数据
www.overpass-api.de Overpass API 提取高达300M未压缩数据。 每分钟 是,从v0.7.50开始 是 可选
download.openstreetmap.fr/ 每分钟差异(diffs )和每日(提取)PBF
  • 整个大陆
  • 所有大陆的许多国家
  • 一些国家的一级行政区
每分钟 是 是
download.geofabrik.de 每日PBF的提取,剥离了私人数据(用户名称,用户ID,更改集ID):
  • 整个大洲
  • 大多数国家
  • 巴西,加拿大,法国,德国,意大利,日本,波兰,俄罗斯,英国,美国的国家级的下一级的地区数据

提示:导出数据不适用于编辑。

每日 是 是 只有版本和时间戳
osm-internal.download.geofabrik.de 与download.geofabrik.de一样,但是有完整的个人元数据
  • 所有上面提到的地区的每周的完整历史提取(无差异)

提示:要求使用OSM账号登录。文件对数据保护很重要。

每日 是 是 全域
download.bbbike.org/osm/ 提供不同提取
  • 超过200个城市和地区
  • 提取你的独立区域

Note:提取的数据不适用于编辑OSM数据,因为它们没有元数据,比如版本号。查看FAQ了解更多。

每周 没有 是
protomaps.com/extracts PBF格式下导出高达约一亿个节点。
  • 导出矩形区域或者绘制多边形
  • 每分钟更新
  • 不含元数据
每分钟 没有 是 全部物体都具有版本号,路径及关系和有标签的节点具有时间戳

地区性导出资源

镜像 地区 更新 差异 HTTPS 是否包含元数据
osm.kewl.lu/luxembourg.osm/ Luxembourg(公测中) 每小时 是,但是非Osmosis/Pyosmium适配的目录结构 是 部分
planet.osm.ch 从瑞士OSM协会导出的瑞士的数据,包含了瑞士国境内所有的湖泊以及一些邻近国家。 每小时 是 是 全域
osm.kyblsoft.cz/archiv/ 捷克共和国 每日 没有 没有 只有版本和时间戳

全球专题导出

  • OpenStreetMapData提供全球海岸线,陆地多边形及水体多边形的文件。
  • osmdata.xyz提供每月更新的全球一级特征标签地理包。

IPFS

  • (当前不可用,仅包含未完成和过时的文件)一个从download.geofabrik.de上下载大洲文件的每周更新镜像现在在IPFS(`/ipns/ipfs.placebazaar.org`)上可用。使用任何IPFS执照或通过其他途径都可访问,比如ipfs.io/ipns/ipfs.placebazaar.org。一台服务器专用于查看该数据一周。

源数据

原网站链接是https://planet.openstreetmap.org/。请尽可能使用镜像BitTorrent

更新频率

最新的planet.osm文件每周更新(当前在每周三早上更新)。我们自从2006年4月提供这些更新。

planet.osm文件的大小可以在planet下载页面的顶部信息查看。Planet文件非常大(数十GB),所以请在开始下载之前检查大小。

每周备份通常在英国时间的周一凌晨约01:10开始并且保证涵盖全部在那个时段的更新。备份是使用转换软件的数据库备份建立的,并且结果应当确保参照完整性。请注意,这并不总是适用于导出。备份和转换通常需要约48小时来完成。总的来说,我们的数据通常在周三早上准备好。

备注:文件的时间戳是像这样被记录的:<osm version="0.6" generator="OpenStreetMap planet.c" (...) timestamp="2013-01-02T01:10:14Z">如果你想要的话,这会对决定使用什么“差异”很有帮助:

另外,我们提供定期差异。这些差异每天被制作出来(在'daily'子目录下),并且最近我们也提供每小时更新的差异和每分钟更新的差异。这些都是由Osmosis制作,并且能被用于重建整个数据集(查看在OsmosisOsmupdate页面上的示例。因为这些文件仅包含数据的差异,它们的大小很小。每天的差异解压后一般为40MB。请查看Zh-hans:Planet.osm/diffs了解更多。

技术性备注

小区域的仅OSM数据库副本

问:我想要建立一份仅包含一个小区域数据的仅OSM数据库副本并使其保持同步。

你将需要使用全部的差异然后去掉你不需要的部分。

如果你有意为相当小的区域的数据做这项工作,Osmosis是更简单好用的选择。假设你在"current.osm"文件中有一份你的区域的当前导出,并且你有设置得当的Osmosis副本(--rrii),那你只需要简单地运行

 osmosis --rri --simc --rx current.osm --ac --bb left=42 right=42 top=42 bottom=42 
 clipIncompleteEntities=yes --wx new.osm && mv new.osm current.osm

(转换在边界盒中的42)

处理文件

查看Zh-hans:Databases and data access APIs#数据库示例以将一个planet文件加载进数据库。

查看Zh-hans:OSM file formats#地图数据以获取能够处理osm文件的工具列表。

查看Zh-hans:Frameworks以从你的软件访问osm文件。

解压.bz2文件

Osmosis以及osm2pgsql可以使你以bz2-compressed形式使用文件。如果你需要由bz2格式解压文件,你可以使用7-zip(Windows)或Linux命令bzip2 -d planet.osm.bz2。你的操作系统也可能支持双击解压。See Wikipedia's list of compression programs.

If you are handling the compression yourself with libbzip2, then note that the files are compressed with pbzip2 and contain multiple streams that need to be handled as described in section 3.4.8 of the bzip2 documentation.

During download, the network will be your bottleneck. Once you have the file you will need to unpack it, and then disk I/O will be your bottleneck. Or you can work with the bzip'ed file, but then the CPU will be your bottleneck. If you have sufficient space to unpack the full planet file, you can save a lot of time and disk thrashing by unpacking it on the fly while downloading it: try curl -L https://planet.openstreetmap.org/planet_latest.osm.bz2 | pbzip2 -cd >planet_latest.osm.

In most cases, using import tools supporting the PBF format will be a faster and more efficient solution. They can be processed directly without unpacking to plain OSM XML format and PBF-compressed OSM files are always smaller than bzip2-compressed OSM files and faster to download.

额外的技术性备注

wget: Alternatively to curl, wget -O - may be used. Due to the size of the planet files, older distributions of wget may fail to work since they may not support file sizes larger than 2 GiB, and attempting to download files larger than that will report a negative file size and fail.

pbzip2: may be replaced by the single-threaded bzip2 -cd / bzcat as well.

引用

丢失的节点

Note that planet download have ways that reference nodes that are not in the same file.

Due to performance reasons it isn't possible oto get a fully consistent snapshot of the database. Although the dump is run in a transaction, the isolation level required for a "snapshot"-style dump dramatically increases the running time. You might find that, if you have been editing while the export has been running, that the way may be in there but the nodes are not. You can take a planet file and apply the daily diffs using Osmosis to create a consistent planet file (however you may still have some problems with old bad data in OpenStreetMap from before the introduction of the API 0.6).

国家导出

国家导出可能有不在同一文件的数据,街上随便照都能手机出来。

这完全普通依赖着他们的设置This is perfectly normal depending on the settings used in the extraction process. There are two options; either the ways at the boundary have been truncated (such as in the GeoFabrik downloads), or the nodes are just left out and the ways are left as is (for example the CloudMade downloads).

处理丢失的引用

这真的取决于你要如何处理数据。你要么不要节点关系,要么去找另一个数据源,例如API,拿回丢失的节点。

其他planet文件

  • GPS轨迹可在Zh-hans:planet.gpx中被找到
  • planet文件的旧版本在https://planet.openstreetmap.org/以及镜像可用
  • 实验性的完整历史档案现在可用,包含每个物体的每个调整

协议

Planet文件保持在与从它们被导出的地方——OpenStreetMap主地理数据库——相同的协议下 - 当前是Open Database License。Planet文件从2012年9月12日开始使用Creative Commons Attribution-ShareAlike 2.0协议。