[PostgreSQL] osm2pgsql

이전 포스트
https://blog.naver.com/sssang97/223746834114

osm2pgsql은 OSM을 PostgreSQL에 부어서 사용할 수 있게 해주는 converter다.

이거 자체가 독립적인 시스템은 아니고, 이걸로 데이터만 Postgres에 집어넣고 PostGIS를 통해 좌표 쿼리를 쏘는 식으로 응용한다.

그래서 이걸 쓰려면 PostGIS에 대한 사전지식이 있고, 설치도 되어있어야 한다.
https://blog.naver.com/sssang97/223381620061

PBF 파일 준비

가장 먼저 지도 파일이 필요하다.

전세계의 전체 지도가 필요하다면 다음 미러 사이트에서 적당히 받으면 된다.
79gb 정도 되니까 넉넉히 100gb 정도는 여유공간을 둬야 한다.
https://planet.openstreetmap.org/pbf/planet-latest.osm.pbf

특정 국가들만 있어도 된다면 다음 사이트에서 부분집합들만 받을 수도 있다.
https://download.geofabrik.de/

일단 나는 한국측 데이터만 받았다. 미러 사이트들 성능이 좋지 않아서 작은걸로 받아도 꽤 오래걸린다.

wget -O data.pbf https://download.geofabrik.de/asia/south-korea-latest.osm.pbf

osm2pgsql 설치하기 (in Linux)

이제 직접 설치해서 돌려보자.

먼저 cli를 설치하고

sudo apt-get install osm2pgsql

실행이 되면 잘 깔린 것이다.

저장 대상으로 쓸 postgres에 예정과 extension을 깔아준다.

sudo -u postgres createuser osmuser
sudo -u postgres createdb --encoding=UTF8 --owner=osmuser osm
sudo -u postgres psql osm --command='CREATE EXTENSION postgis;'
sudo -u postgres psql osm --command='CREATE EXTENSION hstore;'

sudo -u postgres psql osm --command='ALTER USER osmuser WITH PASSWORD 'q1w2e3r4';'

저기다가 넣을 것이다.

그리고 지도 파일을 osm2pgsql를 통해 가공해서 postgres에 업로드하면 끝이다.

osm2pgsql --database=osm --user=osmuser --password=q1w2e3r4 ./data.pbf

메모리를 잔뜩 먹고 도는거라 실행속도 자체는 괜찮다. 금방 돌았다.

그리고 db에 들어가면

뭐가 이래저리 생겨있을 것이다.
planet_osm_point가 각각의 도시, 마을 등에 대한 좌표값.
planet_osm_polygon이 영역에 대한 다각형 값.
planet_osm_lint이 선, planet_osm_roads가 길 등이다.

저기 들어가있는 데이터로 쿼리 날리면서 거리측정이나 좌표값 가져오고 그런걸 하면 된다.

먼저 현재 위치에서 가까운 도시나 마을을 찾는거부터 해보자.
planet_osm_point은 place라는 값을 통해 각 지점들의 특성을 분류해놨다.

select distinct place from planet_osm_point;

city가 일반적인 도시, 시, 광역시다.
town이 리, 동, 면 등의 하위 행정구역이고, 이래저래 뭐 있다.

먼저 위도/경도 기반으로 검색을 한번 해보겠다.
osm2pgsql은 위도/경도가 아니라 Pseudo-Mercator라는 조금 변형 좌표법을 사용한다. 구글맵이나 OSM 등등 많이 쓰는 방식이다.

지도에서 적당히 좌표를 찾거나

데이터 기반으로 추출해도 된다.

그리고 해당 좌표에서 가장 가까운 도시를 가져오는 쿼리를 작성해봤다.

SELECT name
FROM planet_osm_point
WHERE place = 'city'
ORDER BY ST_Distance(
    way,
    ST_Transform(
      ST_SetSRID(ST_Point(127.255188, 37.429084), 4326),
      3857
    )
)
LIMIT 10;

좀 번거롭긴 한데, 좌표 값을 위도/경도 값으로 초기화한 다음에(SRID=4326), 자체 좌표법으로 변환하는(SRID=3857) 과정을 거쳤다.
그리고 ST_Distance로 거리를 재서 가장 가까운 위치의 도시를 가져오도록 했다.

잘 동작하는 것을 확인할 수 있다.

이건 단순한 예시일 뿐이고, 실제 사용례에서는 적절하지 않을 수 있다.

기준 좌표가 도시 경계라면, 해당 도시 중앙보다 더 가까운 다른 도시로 잡혀버릴 수도 있고, 인덱스도 잘 타지 않을 것이다. 사용사례에 맞춰서 최적화를 하면 된다.

아무튼 이런 식으로 응용하면 된다.

참조
https://osm2pgsql.org/doc/manual.html
https://hub.docker.com/r/iboates/osm2pgsql
https://stackoverflow.com/questions/52180005/retrieve-closest-road-when-given-lat-long-using-osm-in-postgres-with-postgis