[Linux] IO: memory map

#Linux

memory map(mmap)은 Linux에서 지원하는 커널 수준의 특수한 I/O 최적화 기법 중 하나다.
매우 큰 데이터를 디스크로부터 읽어올때 매우 유용하다.

일반 읽기(fread)의 원리

Linux에서 일반적으로 파일 Read는 fread라는 명령을 통해서 처리한다.
그 경우에는 아래와 같은 프로세스들을 거쳐서 파일을 읽고, 메모리에 적재한다.

조금 복잡해보이긴 하는데, 아무튼 여기서 성능 부하가 발생하는 지점은 2가지다.

DMA가 파일을 읽어서 커널 메모리에 저장하는 시간
프로세서가 커널 메모리를 읽어서 프로세스 메모리에 저장하는 시간

mmap은 여기서 2단계에서 소모되는 시간을 줄일 수 있는 방법론이다.

mmap의 원리

mmap 기반의 read도 앞부분은 fread와 크게 과정이 다르지는 않다.
OS가 DMA에 요청해서 디스크를 읽어 커널 메모리에 저장하는 것은 같다.

커널 메모리를 다시 복사하는 불필요한 부하가 없다는 것이 다르다.
대신 커널 메모리를 프로세스 메모리에 직접 연결한다.

mmap의 장단점

장점

GB 수준을 넘어가는 큰 파일을 읽을 때 훨씬 빠르게 처리할 수 있다.
캐시가 매우 잘 먹힌다. 이미 load된 파일을 다시 읽으면 매우 빠른 속도로 읽을 수 있다.

단점

기본적인 비용이 큰 편이다. 적당히 작은 파일들을 자주 읽는 일반적인 패턴에서는 오히려 느릴 수 있다.
OS 페이지 단위로 저장을 하기 때문에 파일이 작을 경우 공간의 낭비도 발생한다. 예를 들어, 페이지 단위가 4KB인 시스템에서 50바이트짜리 데이터를 와리가리하는거면 3950바이트쯤을 그냥 낭비하는 것이다.

벤치마킹해보기

말로만 떠드는건 의미가 없으니 직접 돌리면서 성능 테스트를 해보자.
예제는 날것의 맛을 느끼기 위해서 C를 사용했다.
https://github.com/myyrakle/benchmarks/tree/master/fread_vs_mmap

먼저 큰 파일부터 테스트해보자. 난 17GB짜리 큰 텍스트파일을 준비했다.

fread 먼저 짜봤다.

그냥 전체 다 읽기만 하고, 시간을 측정했다.

아래는 전체 코드다.

#include <stdio.h>
#include <time.h>
#include <stdlib.h>
#include <string.h>

int main()
{
    FILE *file = fopen("measurements.txt", "r");

    // 파일 크기를 얻습니다.
    fseek(file, 0, SEEK_END);
    long filesize = ftell(file);
    rewind(file);

    // 메모리를 할당합니다.
    char *buffer = (char *)malloc(filesize);

    clock_t start = clock();

    // 파일의 내용을 읽어옵니다.
    size_t readsize = fread(buffer, 1, filesize, file);
    if (readsize != filesize)
    {
        printf("Failed to read file\n");
        return 1;
    }

    // NULL 종료 문자를 추가합니다.
    buffer[filesize] = '\0';

    fclose(file);

    clock_t end = clock();

    printf("Len %ld\n", strlen(buffer));

    double cpu_time_used = ((double)(end - start)) / CLOCKS_PER_SEC;

    printf("Execution time: %f seconds\n", cpu_time_used);

    return 0;
}

그리고 돌려보면

10초 즈음이 걸렸다.

그럼 mmap을 적용하면 어떨까?

파일 디스크립터를 열고 mmap 함수를 사용해서 mmap 초기화를 해주면 바로 읽어온다.
이건 lazy하게 읽어올 수 있기 때문에 성능 측정을 위해 의도적으로 가장 마지막 글자를 출력하도록 했다.

아래는 전체 코드다.

#include <stdio.h>
#include <time.h>
#include <stdlib.h>
#include <string.h>

#include <sys/mman.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>

int main()
{
    // 파일 크기를 얻습니다.
    FILE *file = fopen("measurements.txt", "r");
    fseek(file, 0, SEEK_END);
    long filesize = ftell(file);
    rewind(file);

    clock_t start = clock();

    int file_descriptor = open("measurements.txt", O_RDONLY);
    if (file_descriptor == -1)
    {
        perror("Error opening file for reading");
        exit(EXIT_FAILURE);
    }

    char *buffer = mmap(0, filesize, PROT_READ, MAP_SHARED, file_descriptor, 0);
    if (buffer == MAP_FAILED)
    {
        close(file_descriptor);
        perror("Error mmapping the file");
        exit(EXIT_FAILURE);
    }

    printf("Len %ld\n", strlen(buffer));

    printf("Last Character %c\n", buffer[filesize - 1]);

    clock_t end = clock();

    double cpu_time_used = ((double)(end - start)) / CLOCKS_PER_SEC;

    printf("Execution time: %f seconds\n", cpu_time_used);

    return 0;
}