Udo's Code Note

데이터 엔지니어의 기술 블로그

78개의 글

최근 글

2026년 9월 27일

LSM 트리 vs B-tree - 쓰기는 왜 덧붙이는 쪽이 이기는가

BigQuery 시리즈를 마치고 다시 데이터 엔지니어링 시리즈로 돌아왔습니다. Row vs Column 편에서 InnoDB가 페이지를 B+ Tree로 관리한다고 한 문단으로 지나갔는데, 이번 글은 그 한 문단을 풉니다. B-tree가 어떻게 쓰고 왜 쓰기가 비싼지, 그...

Data Engineering

BigQuery Deep Dive·2026년 9월 13일

10. 리전, 복제본, 재해복구 - 데이터는 정확히 어디에 있는가

지난 편에서는 누가 데이터를 볼 수 있는지를 다뤘습니다. 이번 편에서는 그 데이터가 어디 있는지를 다룹니다. 'US 멀티리전에 두면 여러 리전에 복제되니까 안전하다'는 말부터 틀렸습니다.

Data Engineering

BigQuery Deep Dive·2026년 8월 30일

9. 접근 제어 - IAM부터 마스킹까지

지난 편까지 데이터를 어떻게 저장하고, 조회하고, 넣는가를 다뤘습니다. 이번 편은 방향이 조금 다릅니다. 그 데이터를 누가 어떻게 볼 것인가 쪽으로 넘어옵니다.

Data Engineering

BigQuery Deep Dive·2026년 8월 16일

8. CDC와 스트리밍 - 데이터를 최신 상태로 유지하기

지난 편에서 Storage Write API로 데이터를 넣는 방식을 봤습니다. 그런데 지금까지 다룬 스트리밍은 대체로 append-only, 즉 새 이벤트를 계속 밀어 넣기만 하는 그림이었습니다.

Data Engineering

BigQuery Deep Dive·2026년 8월 2일

7. 데이터 적재 - batch load부터 Storage Write API까지

지난 편까지는 데이터를 저장하고, 읽고, 뷰로 서빙하는 얘기를 주로 다뤘습니다. 이번 편에서는 데이터를 BigQuery에 넣는 방식을 다룹니다.

Data Engineering

BigQuery Deep Dive·2026년 7월 19일

6. BigQuery 뷰(View) 3종 — 일반 뷰, 승인된 뷰, 머티리얼라이즈드 뷰(MV) 차이

BigQuery의 뷰(View) 3종을 정리합니다. 일반 뷰(Standard View), 승인된 뷰(Authorized View), 머티리얼라이즈드 뷰(Materialized View)이 각각 어떤 문제를 푸는지, 권한과 비용 관점에서 언제 어떤 뷰를 썰야 하는지까지 ...

Data Engineering

BigQuery Deep Dive·2026년 7월 5일

5. BigQuery 파티셔닝과 클러스터링 — 프루닝으로 스캔량과 비용 줄이기

BigQuery 파티셔닝과 클러스터링을 정리합니다. 두 도구는 서로 다른 방식으로 스캔량을 줄입니다. 파티션/클러스터 프루닝이 실제로 어떻게 동작하고, WHERE 함수를 쓰면 왜 깨지는지, 언제 파티션을, 언제 클러스터링을 썰야 하는지까지 다룹니다.

Data Engineering

BigQuery Deep Dive·2026년 6월 20일

4. BigQuery 쿼리 디버깅 — 실행 계획(Execution Graph)과 INFORMATION_SCHEMA로 병목 찾기

BigQuery 쿼리가 느릴 때 어디를 봐야 하는지 정리합니다. 콘솔의 실행 계획(Execution Graph)으로 병목 stage를 집고, INFORMATION_SCHEMA.JOBS로 추세를 보고, slot_ms와 큐잉 시간으로 슬롯 부족을 구분하는 방법을 다룹니다....

Data Engineering

BigQuery Deep Dive·2026년 6월 7일

3. BigQuery 슬롯과 컴퓨트 과금 — On-demand vs Editions, Baseline과 Autoscale 설계

BigQuery 슬롯(Slot)과 컴퓨트 과금 모델을 정리합니다. On-demand와 Editions(Standard·Enterprise·Enterprise Plus)의 차이, Baseline과 Autoscale을 어떻게 배합해야 안정성과 비용을 둘 다 잡는지 다룹니다...

Data Engineering

BigQuery Deep Dive·2026년 5월 10일