이슈노트 #1: 특정 위치에서 접속시 심각한 성능 저하
F로 시작하는 상용 웹서비스를 유지보수하던 중에 맞딱뜨린 이슈다.
문제
어느 때를 기점으로 갑자기 특정 위치에서 사이트를 접속했을때만 사이트 로딩시간이 엄청나게 느려졌다는 보고가 들어왔다.
1-2초 늦는 것도 아니고 매 페이지 로딩마다 10초가 넘게 걸린다는 것이다.
분명 다른 곳에서 접속시에는 빠르게 접속이 되고 있었다.
분석
그래서 우리는 다음과 같은 가능성을 제시했었다.
- 서버에서 해당 발생지의 아이피를 악성 사용자 등으로 인지하고 접속에 방해를 준다. (디도스 방어 등)
- 해당 발생지에서 사용하는 인터넷 망 중에 어느 지점이 심각한 트래픽 병목을 일으키고 있다.
우리는 1번을 먼저 의심해서 소스를 분석해보았는데, 확실히 보안솔루션을 쓰고있긴 했다.
하지만 해당 솔루션을 통해 관리하는 아이피 목록에는 해당 발생지의 아이피가 없었다.
2번은 당장 확실하게 파악하기 어려우니, 원격접속을 요청한 뒤 잠시 대기했다.
파악
원격접속을 통해 사이트에 접근해보니 실제로도 심각하게 느렸다.
그런데 문득 네트워크 탭을 보니 오류가 발생해 실패하는 http 요청이 하나 있더라는 것이다.
다음 js 소스를