[GCP] Big Query
Big Query๋ GCP์ ๊ฐํ ์๋น์ค ์ค ํ๋๋ค.
์ฌ์ค GCP์ ์๋น์ค๋ค ๋๋ถ๋ถ์ ๋ค๋ฅธ ํด๋ผ์ฐ๋ ์๋น์ค์ ๋น๊ตํด ๊ทธ๋ ๊ฒ ์ข์๊ฒ ๋ฑํ ์๋๋ฐ, ์ด๊ฑด ์๋นํ ํน์ถ๋ ์ฌ์ฉ์ฑ๊ณผ ์ฑ๋ฅ์ผ๋ก ์ ๋ช ํ ํธ์ด๋ค.
Big Query๋ GCP์์์ ์ ์์ ๋ฐ๋ฅด๋ฉด
๋จธ์ ๋ฌ๋, ์ง๋ฆฌ์ ๋ณด ๋ถ์, ๋น์ฆ๋์ค ์ธํ ๋ฆฌ์ ์ค์ ๊ฐ์ ๊ธฐ๋ณธ ์ ๊ณต ๊ธฐ๋ฅ์ผ๋ก ๋ฐ์ดํฐ๋ฅผ ๊ด๋ฆฌํ๊ณ ๋ถ์ํ ์ ์๊ฒ ํด์ฃผ๋ ์์ ๊ด๋ฆฌํ ์ํฐํ๋ผ์ด์ฆ ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค
gcp
๋ค.
๋ง์ด ์ข ์ด๋ ต๊ธด ํ๋ฐ, ๊ทธ๋ฅ ๋์ฉ๋ ์ฒ๋ฆฌ์ฉ DB๋ฅผ ์ ๊ณตํ๋ค๋ ๋ง์ด๋ค.
์ฐ๋ฆฌ๊ฐ ๊ธฐ์กด์ ์์ฃผ ์ฌ์ฉํ๋ RDB๋ค์ ์ฌ์ค... ๋์ฉ๋ ์ฒ๋ฆฌ๊ฐ ๊ทธ๋ ๊ฒ ํธ๋ฆฌํ์ง๋ ์๋ค.
์์ด ์ ์ ๋๋ ๊ด์ฐฎ์ง๋ง ํ
์ด๋ธ์ ๋ฐ์ดํฐ ์๊ฐ 100๋ง๊ฐ, 1000๋ง๊ฐ๋ฅผ ๋์ด๊ฐ๋ฉด ๋๋ถ๋ถ ๋ง์ด ์ข ๊ฐ๊ธฐ ์์ํ๋ค.
๋ฃ๊ณ ์ฝ๋ ์๋ ์์ฒด๋ ๊ทธ๋ ๊ณ , ๋ฐ์ดํฐ๋ฅผ ๊ฐ๊ณตํด์ค๋๋ฐ๋ ๋ถํ๊ฐ ์์ฒญ๋๊ฒ ์ปค์ง๊ณ , ์ต์ ํ๋ ์๋ชป ํ๋ ๊ฒฝ์ฐ๊ฐ ์ฆ๋ค.
๊ทธ์ ๋นํด big query๋ ์ ์ด์ ๋์ฉ๋ ์ฒ๋ฆฌ๋ฅผ ์ํ managed DB ์์คํ
์ด๋ผ ๊ทธ๋ฐ ๊ณ ์ถฉ์ ๊ฒช์ ์ผ์ด ๊ฑฐ์ ์๋ค.
ํํ๋ฐ์ดํธ๊ธ ์ฐ์ฐ๋ ์์ฝ๊ฒ ์ฒ๋ฆฌํ๋ค๊ณ ํ๊ณ , ๋น์ฉ๋ ์ฑ๋ฅ์ ๋นํด ๊ทธ๋ ๊ฒ ๋น์ผ ํธ์ ์๋๋ค.
์ผ๋ฐ์ ์ธ ์ฉ๋๋ ๋ก๊ทธ์ฑ ๋ฐ์ดํฐ๋ ๋น
๋ฐ์ดํฐ๋ค์ ์ง์ด๋ฃ์ด์ ์ด๋ฐ์ ๋ฐ ๋ถ์์ ์ฌ์ฉํ๋ ๊ฒ์ด๋ค.
๋น์ฆ๋์ค ์๋น์ค์ ๋ฉ์ธ ์๋ฒ๋ก๋ ์ ํฉํ์ง ์๋ค.
๋น์ฉ
big query๋ ํน์ดํ๊ฒ ์ฌ์ฉํ ๋ฐ์ดํฐ์ ํฌ๊ธฐ ๋จ์๋ก ์๊ธ์ ๋ฌผ๋ฆฐ๋ค.
์ด๋ ๊ฒ
ํ
๋ผ๋ฐ์ดํธ ๋จ์๋ก ์๊ธ์ ๊ฐ์ ธ๊ฐ๊ณ , 1ํ
๋ผ๋ฐ์ดํธ ์ ๋๋ ์๋ง๋ค ๋ฌด๋ฃ๋ก ์ ๊ณตํด์ค๋ค.
์์ธํ ๋ฌด๋ฃ ํ๋๋ ์ด๋ ๋ค.

์ผ๋จ ์ฝ์ ํ์ด์ง์ ๋ค์ด๊ฐ๋ณด์.

๋ฐ์ดํฐ ์ธํธ ๋ง๋ค๊ธฐ
๋ฐ์ดํฐ์ธํธ๋ ์ผ๋ฐ์ ์ธ RDB๋ค์ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ๋๋ฑํ ๋จ์๋ค.
ํ๋์ ๋ฐ์ดํฐ์ธํธ์๋ ์ฌ๋ฌ๊ฐ์ ํ
์ด๋ธ์ด ๋ค์ด๊ฐ ์ ์๋ค.
ํ๋ก์ ํธ๋ฅผ ์ ํํด์ ๋ฐ์ดํฐ ์ธํธ ๋ง๋ค๊ธฐ๋ฅผ ํด๋ฆญ
์ด๋ฆ๊ณผ ๋ฆฌ์ ์ ์ ํํด์ค๋ค.

๋ง๋ค์ด์ ์ด๋ฐ ์์ผ๋ก ํ๋ก์ ํธ ์๋์ ๋จ๋ฉด ์ฑ๊ณต์ด๋ค.

ํ ์ด๋ธ ๋ง๋ค๊ธฐ
๊ทธ๋ผ ์ด์ ํ ์ด๋ธ์ ๋ง๋ค์ด๋ณด์. RDB๋ค์ ํ ์ด๋ธ๊ณผ ๋๋ฑํ๋ค.
๋ฐ์ดํฐ ์ธํธ๋ฅผ ์ ํํด์ "ํ
์ด๋ธ ๋ง๋ค๊ธฐ"๋ฅผ ํด๋ฆญ
ํ
์ด๋ธ๋ช
์ ์ ์ด์ฃผ๊ณ
ํ
์ด๋ธ ๊ตฌ์กฐ๋ฅผ ์ ์ํ ์ ์๋ค.
์ปฌ๋ผ์๋ ํ๋๋ช
๊ณผ ํ์
, ๋ชจ๋, ์ฝ๋ฉํธ ์ ๋๋ฅผ ์จ์ค ์ ์๋ค.
๋ชจ๋์์ NULLABLE๋ RDB์ NULL, REQUIRED๋ NOT NULL๊ณผ ๋์๋๋ค.
repeated๋ ๋ฐฐ์ด ํํ๋ผ๋ ๋ง์ด๋ค.

์ ๋ง๋ ๋ค๋ฉด ์ด๋ฐ์์ผ๋ก ๋ฐ์ดํฐ์ธํธ ์๋์ ์์ฑ์ด ๋ ๊ฒ์ด๋ค.

์ฟผ๋ฆฌ ์คํ
์ฟผ๋ฆฌ๋ ์ ํ์ ์ธ RDB๋ค์ SQL๊ณผ ๊ฑฐ์ ๋์ผํ๋ค.
๋ค๋ง ์ง์ง RDB๋ ์๋๋ผ ์์ ํธํ์ ์๋๋ผ๋ ์ ์ ์ ์ํ๋ค.
ํจ์๋ ์ฝ๊ฐ ๋ค๋ฅด์ง๋ง ์ฝ์ ๋ ๋๊ฐ์ด ํ ์ ์๊ณ

select๋

์กฐ์ธ๋ ์ ๋๋ค.

๋จ์ ?
๋ญ ๋๋ถ๋ถ์ ์์คํ ์ด๋ ์๋น์ค๊ฐ ๊ทธ๋ ๋ฏ์ด, ์๋ฒฝํ๊ฑด ์๋ค.
๋น
์ฟผ๋ฆฌ์ ๊ฐ์ฅ ํฐ ๋จ์ ์ค ํ๋๋, ์ฝ์
์ด ๋งค์ฐ ๋๋ฆฌ๋ค๋ ๊ฒ์ด๋ค.
์๋ ์ฟผ๋ฆฌ๋ ๊ณ ์ ํ๋์ ๋ฐ์ดํฐ๋ง ๋ฃ๋ ๋จ์ํ ์ฟผ๋ฆฌ์ธ๋ฐ๋
๋ฌด๋ ค 2์ด๋ ๊ฒฝ๊ณผํ๋ค.
์ด๋ฐ์ ๋ฐ ๋ถ์ฐ์ฒ๋ฆฌ๋ ์ฝ๊ธฐ ์ฑ๋ฅ์ ์ํด ํฌ์ํ๋ ๊ฒ์ด ๊ฝค ๋ง์ ๊ฒ ๊ฐ๋ค.
๊ทธ๋์ ๋ฐ์ดํฐ๋ค์ด ์์ฃผ ์ถ๊ฐ๋๊ณ , ๋น ๋ฅด๊ฒ ๋ณ๊ฒฝ๋์ด์ผ ํ๋ ํ๊ฒฝ์๋ ์ ํฉํ์ง ์๋ค.
๊ทธ๋ฆฌ๊ณ ํ๋ฒ ์ ์ํ ์คํค๋ง๋, ๊ธฐ์กด ์ปฌ๋ผ์ ์์ ์ด๋ ์ญ์ ๊ฐ ๋ถ๊ฐ๋ฅํ๊ณ , ์ถ๊ฐ๋ง ๊ฐ๋ฅํ๋ค.

๊ทธ๋ ๋ค.