[Optimization] zero-copy

#최적화

zero-copy는 극단적인 최적화가 필요할때 사용되는 테크닉 중 하나다.
쉽게 말해서 복사(copy) 행위를 최소화한 채로 최적화를 한다는 말이다.

zero-copy가 적용되는 방식은 상황에 따라 다를 수 있지만, 통상적으로 I/O 집약적인 부분에서 I/O가 연속적으로 실행될 때 그 사이의 불필요한 복사를 방지하는 것을 위주로 한다.

예제: 파일 읽고 전송하기

간단한 예제를 만들고 하나씩 분석해보자.

그냥 로컬에 있는 파일 하나를 읽어서 그걸 HTTP든 TCP든 전송한다고 치자.
별로 신경쓰지 않고 프로그램을 구현한다면 보통 이런 식으로 I/O 체인이 발생할 것이다.

DMA가 커널 메모리에 파일 내용을 적재하면, 그걸 다시 프로세스 메모리로 복사한다.
그러면 프로그램은 프로세스 메모리에 적재된 파일 내용을 사용할 수 있다. 변수에 로드된 것이다.

그러면 다시 파일 내용을 전송해야 하는데, 구현하기에 따라서 4번처럼 전송용 메모리 복사가 발생할 수도 있다.
그 다음에는 네트워크에 전송하기 위해 파일 내용을 다시 커널 메모리에 적재하고, Network Interface를 통해 실제 바깥 세상으로 나가게 된다.

커널 메모리와 Disk/Network의 상호 통신은 DMA에 의해 이루어지는 복사고, 나머지는 전부 CPU에 의한 복사다.

A. 불필요한 코드 수준 복사 제거

일단 그냥 단순히 코드 수준에서 불필요한 복사가 없는지부터 보는게 중요하다.
당연히 저기서 4번 복사는 없앨 수 있지 않겠는가?

이건 언어마다 다를테지만, 방법은 다 대동소이할 것이다.

B. Direct Memory Access 제어

프로세스에서 I/O는 기본적으로 커널메모리>프로세스메모리 순으로 제어가 된다.
일단 어떤 것이든 간에 커널메모리를 통해 write/read가 발생하고, 그걸 프로세스 메모리라는 격리된 영역 안에 매핑시키는 것이다.

하지만 이것도 특수한 syscall들을 사용하면 불필요한 메모리 복사 없이 커널메모리를 바로 사용할 수 있다.
그 대표적인 방법 중 하나가 memory map이다.
https://blog.naver.com/sssang97/223479875946

이걸 잘 응용한다면, 프로세스 메모리로의 불필요한 복사를 막을 수 있다. 또 2번의 복사를 줄일 수 있는 것이다.

다시 이렇게 정리가 된다.
이제는 총 3번의 복사만으로 파일을 읽어서 전송할 수 있게 되었다.

C. mode switching 비용 절약하기

일반적으로 간과하기 쉬운 부분 중 하나지만, 사실 복사뿐만 아니라 시스템 호출(syscall) 또한 꽤 무거운 작업 중의 하나다.

Linux에서 write나 read 같은 커널 기능을 호출하게 되면 프로그램은 사용자 모드에서 "커널 모드"로 전환하게 되는데, 이러면 커널 모드로 컨텍스트를 전환하는 도중에 많은 성능 손실이 발생할 수 있기 때문이다.
이 컨텍스트 스위칭은 레지스터, 스택포인터, 프로그램 카운터의 상태를 건드리고, CPU 캐시도 순간적으로 뻑날 수 있다. 그래서 시스템 호출은 최소화할 수 있다면 최소화하는게 바람직하다.

그래서 사실 위의 최적화 사례도 잘 뜯어보면