IP 프록시 서비스

#네트워크/웹

크롤링이 서비스의 핵심 구성요소 중 하나가 된 세상이다.
그리고 알다시피 크롤러를 막는 가장 강력한 기둥 중 하나는 IP다. 특정 IP가 이상한 패턴으로 접근하면 IP 단위로 막아버리는 것이 IP고, 따라서 크롤러 등을 운영할 때도 가장 중요한 것이 IP다.

결국 얼마나 다양하고 품질 좋은 IP를 가지고 있느냐가 중요해진다.

그런 측면에서 IP 프록시를 잘 활용하는 것도 좋은 역량 중 하나가 된다. 직접 IP를 어떻게 다양하게 챙길 수도 있지만, 현실적으로 많이 어렵다.
확보할 수 있는 IP에도 제한이 있고, 비용적으로도 효율적이지 않을 수 있는 것이다.

여기서는 IP 프록시의 계층과 기본 특성 등을 정리해본다.

프록시 protocol

프록시 서비스를 제공하는 방식도 한가지는 아니다. 두어가지가 있다.
HTTP 기반 방식과 SOCK5(TCP) 기반 방식이다.

대부분의 프록시 서비스들은 비슷한 인터페이스로 프록시 HTTP API를 제공한다.
프록시 엔드포인트와 프록시 계정정보만 넣어주면 된다.

curl -i \
  --proxy 프록시 \
  --proxy-user USERNAME:PASSWORD \
  "https://api.ipify.org"

그럼 이렇게 프록시를 타고 응답을 내어줄 것이다.

그리고 SOCK5라는 프로토콜이 있는데, 이건 좀 더 특수한 경우에 사용된다.
성능적인 차이는 거의 없고, TCP/UDP 계층에도 붙일 수 있다는게 장점이다.

근데 사실 이건 일반적인 크롤링에는 쓰기 과하고, 지원도 한정적인 부분이 있다.

프록시도 다 같은 프록시가 아니다. 실제로 얼마나 잘 추적을 당하고 차단을 당하는지에 따라서, 그리고 IP를 확보한 방법에 따라서 프록시의 종류와 비용이 다르다.

대략적인 분류는 다음과 같다. 아래로 갈수록 고품질이고 비싸진다.

가장 싼 프록시 종류가 이거다.
그냥 일반적인 서버실에 장비 깔아놓고, 데이터센터 IP 대역을 그대로 제공하는 것이다.

대역 통째로 영구밴을 당할 확률이 높기 때문에 싼 대신에 품질은 가장 낮다.

이건 통신사 프록시다.
사실 통신사들도 IP 장사를 한다. 몇백개 IP 대역을 패키지로 팔면, 그걸 프록시 업체들이 사서 서빙하는 형태다.

Datacenter 프록시보단 낫지만 이것도 탐지당하면 대역째로 막히기 때문에, 최상급까지는 아니다.

실제 일반 인터넷 사용자들의 회선을 활용하는 프록시를 말한다.
VPN 서비스를 포함해서 이런저런 트릭들을 활용해서 가정용 IP를 확보하고 그걸 쓰는 것이다.
그래서 차단률이 낮다.

IP를 확보하는 방법은 대개

이 정도다.

근데 이것도 완벽한건 아니고, 해당 IP들이 특정되면 결국 블랙리스트에 등재되는 것은 마찬가지다.
이건 얼마나 회전을 잘 시켜주냐에 따라 많이 달라진다.

가장 품질이 좋은 프록시다.
알다시피, 모바일 폰은 데이터를 연결하면 IP가 통신사 대역에서 랜덤으로 배정된다. 그리고 랜덤으로 회전하면서 바뀐다.
이 특성을 활용해서 모바일에 통신사 연결해서 IP 교체하며 쓰는 것이다.

실제 고객 IP와 완벽하게 섞이기 때문에 방어자들도 이걸 아주 완벽하게 막지는 못한다.

이걸 자체 데이터센터에서 직접 운영하는 조직도 더러 있다.

보통 서비스를 갖다쓰게 되면 크고 유명한 서비스를 먼저 보게 된다.

하지만 프록시에서는 대기업이라고 좋은게 아니다. 오히려 차단을 당할 확률이 더 높다. 이를테면 BRIGHTDATA와 Oxylabs 같은 곳들 말이다.
주요 서비스 제공자들은 이런 프록시 대형업체들을 찾아서 막는 전담 팀이 있을 정도로 방어에 혈안이 되어있기 때문이다.

그래서 오히려 적당한 중소규모 업체를 쓰는 것이 IP 품질 면에서는 더 나을 수 있다.