Udo's Code Note
데이터 엔지니어의 기술 블로그
80개의 글
최근 글
전체 글 보기조인 알고리즘 - Nested Loop, Hash, Sort-Merge는 언제 이기는가
LSM 트리 vs B-tree - 쓰기는 왜 덧붙이는 쪽이 이기는가
BigQuery Deep Dive·
10. 리전, 복제본, 재해복구 - 데이터는 정확히 어디에 있는가
BigQuery Deep Dive·
9. 접근 제어 - IAM부터 마스킹까지
BigQuery Deep Dive·
8. CDC와 스트리밍 - 데이터를 최신 상태로 유지하기
BigQuery Deep Dive·
7. 데이터 적재 - batch load부터 Storage Write API까지
BigQuery Deep Dive·
6. BigQuery 뷰(View) 3종 — 일반 뷰, 승인된 뷰, 머티리얼라이즈드 뷰(MV) 차이
BigQuery Deep Dive·
5. BigQuery 파티셔닝과 클러스터링 — 프루닝으로 스캔량과 비용 줄이기
BigQuery Deep Dive·
4. BigQuery 쿼리 디버깅 — 실행 계획(Execution Graph)과 INFORMATION_SCHEMA로 병목 찾기
시리즈
데이터 메시
18편
- 1편. 데이터 메시란?
- 2편. 데이터의 도메인 오너십 원칙
- 3편. 제품으로서의 데이터 원칙
- 4편. 셀프 서비스 데이터 플랫폼의 원칙
- 5편. 연합 컴퓨팅 거버넌스의 원칙
- 6편. 전략적 변곡점
- 7편. 전략적 변곡점 그 이후
- 8편. 전략적 변곡점 그 이전
- 9편. 논리적 아키텍처
- 10편. 멀티플레인 데이터 플랫폼 아키텍처
- 11편. 행위 지원성에 의한 데이터 프로덕트 설계
- 12편. 데이터 소비, 변환 및 제공 설계
- 13편. 데이터 검색, 이해 및 구성 설계
- 14편. 데이터 관리, 거버닝 및 관찰 설계
- 15편. 전략과 실행 - (1)
- 15편. 전략과 실행 - (2)
- 16편. 조직과 문화
- 마지막편. 회고
LLM 프로젝트
11편
- 1편. 대규모 언어 모델, 도대체 왜 중요한가?
- 2편. ChatGPT API로 LLM 이해하기
- 3편. LLM의 성능을 끌어올리는 프롬프트 엔지니어링
- 4편. RAG로 LLM의 한계 뛰어넘기
- 5편. LLM의 능력을 확장하는 Tool과 함수 호출(Function Calling)
- 6편. AI 에이전트의 개념과 구성 요소
- 7편. AI 에이전트의 예시 [개인 맞춤형 여행 계획 에이전트]
- 8편. MCP(Model Context Protocol)란 무엇인가?
- 9편. MCP Python SDK로 나만의 AI 도구 만들기
- Claude Desktop MCP 연동 — 설정 방법과 실행 가이드
- 11편. MCP 연결 방식 이해하기 (Stdio vs SSE)
BigQuery Deep Dive
10편
- 1. BigQuery 아키텍처 — Dremel·Colossus·Jupiter로 이해하는 쿼리 실행 원리
- 2. BigQuery 저장 모델과 비용 — Logical vs Physical, Active vs Long-term Storage
- 3. BigQuery 슬롯과 컴퓨트 과금 — On-demand vs Editions, Baseline과 Autoscale 설계
- 4. BigQuery 쿼리 디버깅 — 실행 계획(Execution Graph)과 INFORMATION_SCHEMA로 병목 찾기
- 5. BigQuery 파티셔닝과 클러스터링 — 프루닝으로 스캔량과 비용 줄이기
- 6. BigQuery 뷰(View) 3종 — 일반 뷰, 승인된 뷰, 머티리얼라이즈드 뷰(MV) 차이
- 7. 데이터 적재 - batch load부터 Storage Write API까지
- 8. CDC와 스트리밍 - 데이터를 최신 상태로 유지하기
- 9. 접근 제어 - IAM부터 마스킹까지
- 10. 리전, 복제본, 재해복구 - 데이터는 정확히 어디에 있는가
Data Engineering
9편
- 메달리온 아키텍처란? Bronze-Silver-Gold 3단계 구조 정리
- 직렬화(Serialization)는 왜 비용인가?
- Protobuf - Wire Format과 인코딩 원리 뜯어보기
- 데이터베이스 저장 구조: OLTP의 행(Row) 기반 vs OLAP의 열(Column) 기반 차이
- Apache Parquet - 열 기반 포맷의 내부 구조
- BigQuery - Protobuf에서 Capacitor까지
- Apache Avro - 스키마를 파일에 넣으면 생기는 일
- Schema Registry - 스키마 진화를 안전하게 다루는 법
- Apache Iceberg - Parquet 파일 위의 테이블 포맷
dbt
5편