[PostgreSQL] copy를 이용한 대량 삽입 (bulk insert)

#PostgreSQL

아주 방대한 데이터를 다루는 시스템의 경우에는, 대량으로 데이터를 삽입하는 경우 또한 많다.

그럴때는 항상 엄청난 시간을 잡아먹는데... 그 소요시간을 좀 줄여볼 방법이 있다.
copy 명령어를 사용하는 것이다.

이걸 사용하면 삽입할 데이터들을 텍스트파일에다 저장해놓고, 그걸 그대로 가져올 수 있다.
데이터파일의 형식은 기본적으로 한 줄당 한 데이터를 뜻하며, 컬럼을 구분하는 글자는 직접 지정할 수 있다.

copy는 아래의 구조를 가진다.

copy 테이블명(컬럼명, ...) from '...파일경로' with delimiter '컬럼 구분자'

테스트할 테이블은 이렇게 생겼다.

별거없다.

한번 테스트데이터를 만들어서 돌려보자
나는 아래와 같은 자동화 코드로 쿼리와 데이터파일을 생성했다.
데이터는 100만개고 코드는 Rust다.

use rand::Rng;

fn main() {
    let values_nums: Vec<String> = (1..=10000000)
        .map(|_| {
            let mut rander = rand::thread_rng();
            let num: i64 = rander.gen();
            format!(r#"('NO.{}', {})"#, num, num)
        })
        .collect();

    let text_nums: Vec<String> = (1..=10000000)
        .map(|_| {
            let mut rander = rand::thread_rng();
            let num: i64 = rander.gen();
            format!(r#"'NO.{}', {} "#, num, num)
        })
        .collect();

    let values = values_nums.join(", ");
    let query = format!(
        r#"
        explain analyze
        insert into tb_test(string, num)
        values {}
    "#,
        values
    );

    let text = text_nums.join("\n");

    std::fs::write("query.sql", query).expect("쓰기 실패");
    std::fs::write("just_text.txt", text).expect("쓰기 실패");
}