[ffmpeg] 기본

ffmpeg은 영상파일의 인코딩/디코딩을 지원하는 대규모 오픈소스다.

미디어 관련 환경을 지배하고 있으며, 사실상의 표준이라고 봐도 된다. 일반적인 미디어 플레이어 소프트웨어나. 영상편집을 지원하는 소프트웨어 전반이 ffmpeg에 의존한다.

원본 소스코드는 C 코드로 작성되었고, 다른 언어에서 사용하더라도 FFI wrapper나 프로세스 호출을 통해 갖다쓰는 형태가 된다.

설치

일반적인 리눅스 시스템에서는 패키지매니저를 통해 바로 설치 가능하다.

sudo apt-get install ffmpeg

그래서 실행이 되면, 설치는 잘 된 것이다.

직접 패키지를 받거나, 인스톨러를 통해 설치하고 싶다면 공식 페이지에서 받으면 된다.
https://www.ffmpeg.org/download.html

기본 개념

영상처리를 다루려면 일반 미디어에서 추가되는 요소들이 좀 있다. 그거에 대해서 한번 짚고 가면 좋을거같다.

멀티플렉싱

일반적으로 사진 같은 미디어 파일에서는 "인코딩"과 "디코딩"을 통해서 파일이 저장되고 표현된다. 이미지를 특정 이미지 파일 포맷으로 변환해서 저장하는 것을 "인코딩"이라고 하고, 그걸 실제로 쓸 수 있게 풀어서 읽는 것을 디코딩이라고 한다.

영상처리에도 이런 용어가 사용되는건 똑같지만, 미디어 소스가 여러개라서 생기는 차별점이 있다.
그것이 바로 "먹싱(Muxing)"과 "디먹싱(Demuxing)"이다. 먹싱은 준말이고 Multiplexing이라고도 부른다.

알다시피 영상은 화면과 소리가 함께 나오는 멀티미디어다. 그렇기 때문에 소리와 영상을 동시에 뭉쳐서 저장하는데, 이걸 먹싱이라고 한다. 반대로 뭉쳐놓은 영상 파일에서 화면과 소리를 분해해서 표현하는 것을 디먹싱이라고 한다.

https://wikidocs.net/78484
그래서 영상파일을 압축할때는 먼저 화면과 오디오를 별도로 인코딩한 다음에, 각각을 압축(멀티플렉싱)해서 wmv 같은 영상파일이 만들어지게 된다.
영상파일을 재생할 때는 반대로 demuxing을 통해 화면 요소와 오디오 요소를 분리한다음에, 화면과 오디오를 각각 디코딩해서 처리를 한다.

bitrate

bitrate는 단위 시간당 전송되는 비트의 수를 말한다. 당연히 비트 전송량이 많아야 줘야 비디오 품질이 좋아지지만, 그만큼 파일 크기도 커진다.

보통 이런 식으로 표현되는데, 이러면 1초에 644kb만큼의 데이터를 표현한다는 뜻이다.

한번 영상파일을 하나 까보자.

ffprobe -v error -select_streams v:0 -show_entries stream=codec_type,codec_name,bit_rate,avg_frame_rate -of default=noprint_wrappers=1 tetrio.mp4

이러면 bitrate가 476701. 초당 476kb의 데이터를 처리한다는 뜻이 된다.

근데 bitrate도 크게 2가지 설정 방식이 있는데, 하나는 고정형이고 하나는 가변형이다. 이건 파일 수준에서 이미 저장되어있는 메타데이터 값이다.

고정 bitrate(CBR:constant bit rate)의 경우에는 모든 프레임에 동일한 bitrait를 처리하도록 한다. 이건 전반적인 비효율성이 많아서, 오디오 포맷에는 아직 지배적으로 사용되지만 영상처리에서는 거의 사장되었다.

가변형 bitrate(VBR:variable bit rait)의 경우에는 프레임마다 다른 bitrate를 적용할 수 있다. 그러니까 단순한 화면에는 bitrate를 적게만 던져서 리소스를 아끼고, 복잡한 화면에는 bitrate를 높여서 잘 표현한다든지 하는 컴팩트한 최적화가 가능하다.
파일 크기도 훨씬 작고, 리소스 사용도 적어서 전반적으로 더 좋은 영상 품질을 기대할 수 있다는게 장점이다.

우리가 일반적으로 영화 파일을 mp4로 다운받거나 하면, 그건 보통 가변형 bitrate로 인코딩된 파일이다. 이런 일반적인 사용에 있어서 고정 bitrate는 거의 사장되었다.
그래서 영상파일 하나만 까봐도, 패킷 사이즈가 와리가리하는걸 볼 수 있다.

ffprobe -v error -select_streams v:0 -show_entries frame=pkt_size,pkt_duration_time -of csv=p=0 tetrio.mp4

그렇다고 해서 고정형 bitrate가 쓰이지 않는 것은 아니다.
네트워크 수준의 파일 전송 처리에서는 고정 bitrate가 훨씬 안정적이다. 크기가 항상 일정하기 때문이다.
일례로, 가변형 bitrate의 경우에는 복잡한 화면에서의 데이터 크기가 급격하게 커질 수 있는데, 이런건 사용자에게 버벅임으로 나타날 수도 있기 때문에 문제가 좀 있다.
게다가 오디오와 비디오가 따로 논다거나 하는 문제가 발생할 수도 있고, 불안정성이 굉장히 크기 때문에 스트리밍에서 가변형 bitrate는 일반적인 선택이 아니었다.

Adaptive bitrate (with HTTP)

고정형 bitrate와 가변형 bitrate의 약간 절충안으로서 나온 스트리밍을 위한 중간 개념이다.
요즘에 스트리밍이라고 하면 이 접근법을 기반으로 사용하는 경우가 많다. 유투브나 넷플릭스 등 많은 스트리밍 플랫폼이 이 기술을 사용한다.

이건 영상파일을 초단위로 잘게 쪼개서 "세그먼트"라는 작은 파일을 만들어둔 다음에, 사용자가 네트워크 처리량이 충분하다면 미리 잔뜩 보내고, 아니면 조금씩 보내고 하는 식으로 처리를 한다.
세그먼트도 일단은 파일이기 때문에 가변 bitrait와 고정 bitrate 둘중에 골라서 인코딩할 수 있는데, 여기서도 가변 bitrate가 조금 더 일반적이다.

ffmpeg도 당연히 이러한 기능을 지원한다.

간단하게 사용해보기

ffmpeg은 정말 다양한 기능을 제공한다.

영상파일의 단순한 포맷 변환부터 해서, 프레임 조절, bitrate 조절, 자막 처리 등등, 영상 처리에 필요한 대부분의 기능 요소가 포함되어있다. 이거 하나만 잘 배워서 쓸 줄 알아도 영상처리를 안다고 말할 수 있을 것이다.

일단 여기서는 기본적인 사용례만 몇가지 다뤄보고 넘어가겠다.

mp4 파일을 하나 준비하자.

그냥 테트리스 플레이 영상이다.

파일 포맷 변환

파일 포맷을 바꿔서 저장하는 것도 꽤나 표준적인 영상 편집 패턴 중 하나다.
사용 방법은 간단하다.
-i 인자로 입력 파일을 넣고, 출력 파일명에 확장자를 넣어주면, 알아서 확장자를 인식하고 그 포맷으로 변환해준다.

ffmpeg -i tetrio.mp4 tetrio.avi

시간이 조금 걸리긴 하는데, 적당히 된다.

avi 파일이 잘 생성된 것을 볼 수 있다.

이렇게 만들어진 미디어 파일은 그냥 미디어 플레이어 하나 깔아서 돌려도 되지만, ffmpeg에 내장된 ffplay를 쓰는 것도 편리한 편이다.

잘 만들어졌다.

동영상 자르기

동영상을 특정 범위로 자르는 것도 매우 자주 사용되는 영상처리 패턴이라고 할 수 있다.
단순 편집을 위해서 할 수도 있고, 빠른 스트리밍 처리를 위해서 영상을 잘게 잘라서 처리할 수도 있다.

아래는 mp4 파일을 5초-20초 범위로 15초만 잘라서 생성하는 예제다.

ffmpeg -i tetrio.mp4 -ss 00:00:05 -to 00:00:20 -c copy short.mp4

그럼 영상파일 자체가 작게 만들어진 것을 볼 수 있고

예상한대로 잘 잘려서 돌아갈 것이다.

이런 식으로 쓸 수 있다.

참조
https://github.com/FFmpeg/FFmpeg
https://www.ffmpeg.org/ffmpeg.html
https://wikidocs.net/78484