[ML] CPU와 GPU, 그리고 TPU

한때는 비트코인 열풍으로 GPU가 동난 적이 있었고, 또 최근에는 머신러닝/AI 때문에 GPU가 불티나게 팔리고 있다. 게다가 최근에는 무슨 TPU라는 것까지 나와서 여러분의 상식을 흔들고 있다.

GPU는 뭐고, TPU는 또 뭐하는 놈일까? 역사와 원리를 간단히 정리해보는 시간을 갖도록 하겠다.

CPU (Central Processing Unit)

컴퓨터를 그리 잘 알지는 않는 사람이라도 CPU가 뭔지는 알 것이다.
결국에는 계산기다.

원래 초기 형태의 컴퓨터에는 하나의 중앙 계산 장치가 존재했고, 그걸 CPU라고 불렀다.
CPU라는 용어는 1955년 즈음부터 사용되었다고 한다.

현재 일반 데스크탑 환경에서는 인텔과 AMD가 양분하고 있다.

GPU (Graphics Processing Unit)

"그래픽카드"라고도 부른다.
엄밀히 말하면 그래픽카드는 GPU를 포함한 여러가지 그래픽 장치들을 포함한 풀패키지다.

컴퓨팅 초기에는 CPU만으로 모든 것을 할 수 있었고, 충분했다.

하지만 GUI 컴퓨팅 시래가 도래하면서 사정이 조금 달라지기 시작했다.
맨날 TV 보고 컴퓨터로 영화 돌려보고 하다보니 잘 와닿지 않을 수도 있지만, 사진, 영상 같은 그래픽에 대한 처리는 매우 무거운 처리방식에 속한다. 그래서 처음에는 그래픽 출력 정도는 분리해서 구성하는 움직임을 보였다.

영상처리를 할때 주로 사용되는 연산은 데이터의 거대한 집합을 다루는 "벡터 연산"인데, CPU에서 이걸 다 하기에는 부담이 너무 컸다.
2D까지는 어떻게 어떻게 해도, 3D는 감당이 불가능했다. GPU 역사에 있어서 가장 큰 분기점은 3D 처리였다.

그래서 이런걸 전문적으로 해주는 장치를 분리하는게 낫다는 결론에 이르렀고, 현재의 GPU는 벡터 연산, 대규모 병렬 처리에 최적화된 고성능의 프로세서가 되었다.

게다가 GPU는 CPU보다 성능을 높이기가 쉬운 편이다. 왜냐면, 그냥 크기 늘리고 코어 수만 무식하게 늘려도 성능이 잘 늘어나기 때문이다. 그래픽카드가 점점 커지고 있는 이유이기도 하다.
요즘 GPU들은 코어가 수천개다.

그래픽 장치를 분리하는 움직임은 1970년대부터 있었고, GPU라는 용어는 1994년 Sony에 의해서 만들어졌다.

대표적인 GPU 제조사는 엔비디아, AMD, 인텔 등이 있다. 현재는 엔비디아가 앞서나가는 모양새다.

GPU는 원래 그래픽 처리용으로만 만들어졌지만, 대규모 병렬처리에 적합하다는 장점 탓에 요즘은 다른 용도로 더 많이 사용되고 있다.

1. 비트코인과 채굴 (2017~2022?)

비트코인을 비롯한 블록체인 시스템들이 난립하면서 GPU 환경이 흔들리는 상황이 발생했다.
GPU가 대규모 병렬계산에 능하다는 점을 활용해서 코인의 채굴(mining)에 남용하게 된 것이다.

현재는 다수의 시스템이 채굴 시스템을 폐기하거나, 채굴 효율이 떨어지면서 채굴기로서의 역할은 거의 끝난 상태다.

2. 머신러닝 (2010?~)

머신러닝의 학습은 굉장히 무거운 연산들을 필요로 한다.
특히 매우 많은 행렬 연산과 벡터 연산을 필요로 하는데, GPU의 대량 병렬처리 능력을 활용하면 이를 보다 쉽게 처리할 수 있다.

그래서 ML 학습 돌린다고 하면 컴퓨터에 GPU 주렁주렁 달아대고 돌리는게 당연한 일이 됐다.

현재진행형이다.

TPU (Tensor Processing Units)

TPU는 tensorflow 등의 텐서 처리에 최적화된 프로세서를 말한다.

2016년 구글에 의해서 제작, 발표되었으며, 현재도 구글이 독점적으로 제작, 제공하고 있다.
회로부터 다 직접 만들었다고 한다.

GPU가 여러모로 빠르고 좋긴 하지만, 이것도 역시 단점이 존재했다. 너무 비싸고, 전력소모도 너무 심각한 수준이었다. 게다가 (TPU 측의 주장에 의하면) 자원이 매우 풍족함에도 충분히 빠르고 신경망에 잘 맞지는 않다.

TPU는 그런 GPU의 비효율성을 개선하고자 나온 타개책이다.
대체로 GPU보다 몇배-몇십배는 빠르다고 주장하며, 비용효율적이라고 한다.

https://cloud.google.com/tpu?hl=ko

참조
https://en.wikipedia.org/wiki/Central_processing_unit
https://en.wikipedia.org/wiki/Graphics_processing_unit
https://en.wikipedia.org/wiki/Tensor_Processing_Unit
https://serverguy.com/comparison/cpu-vs-gpu-vs-tpu/
https://cloud.google.com/tpu?hl=ko