[dbt] 4. 데이터 품질 보장하기

# models/core/customers.yml version: 2 # dbt 메타데이터 버전. 관례적으로 2를 사용. models: - name: customers # 테스트를 걸 대상 모델명(=테이블/뷰 이름) description: "고객 마스터 테이블" # 문서화에도 활용됨(dbt docs) columns: - name: customer_id # 검증 대상 컬럼 description: "고유 고객 식별자" tests: # 여기 아래에 제약(=테스트)을 선언형으로 적는다 - not_null # NULL 허용 안 함 - unique # 중복 허용 안 함 # (선택) 실패를 경고로만 처리하려면 # - not_null: # severity: warn # 기본은 error. warn으로 낮출 수 있음 # - unique: # severity: warn

# models/core/orders.yml version: 2 models: - name: orders description: "주문 테이블" columns: - name: status description: "주문 상태 (문자열)" tests: - accepted_values: # values: 허용할 값 목록 values: ['new', 'shipped', 'cancelled'] # quote: 값들을 SQL에서 작은따옴표로 감쌀지 여부 # - 문자열이면 true (또는 생략) -> 'new', 'shipped' 같은 리터럴 생성 # - 숫자/불리언이면 false -> 1, 2, 3 처럼 따옴표 없이 생성 quote: true - name: status_code description: "주문 상태 코드 (정수)" tests: - accepted_values: values: [1, 2, 3] # 숫자라면 보통 quote: false (또는 생략) 권장 quote: false # 숫자/불리언은 false로 해야 타입 미스매치 방지 # (선택) 최근 데이터만 검사하고 싶다면 where 조건을 추가할 수 있음 # where: "order_date >= current_date - interval '30' day"

# models/core/orders.yml version: 2 models: - name: orders description: "주문 테이블" columns: - name: customer_id description: "주문 고객 ID" tests: - relationships: # to: 어떤 테이블(모델)로 참조를 확인할지 to: ref('customers') # ref()는 dbt가 의존성과 실제 오브젝트 이름을 자동 해석 # field: 상대 테이블의 어떤 컬럼과 매칭할지 field: customer_id # (선택) orders 쪽에서 필터를 걸어 검사 대상을 좁힐 수도 있음 # where: "is_test_data = false"

-- tests/t_orders_amount_positive.sql -- 목적: 주문 금액(amount)은 항상 0보다 커야 한다. -- 규칙 위반(금액 <= 0)인 행을 모두 출력하면 테스트는 "실패"로 처리된다. {{ config( severity='error' -- 기본값은 error. 필요하면 'warn'으로 낮춰 운영 차단 없이 경고만 남길 수 있음 #, where="1=1" -- (선택) 공통 필터가 있다면 여기에 조건을 걸어 재사용 가능 ) }} select o.order_id, -- 문제된 주문 ID o.amount, -- 0 이하 금액 o.order_time from {{ ref('orders') }} as o -- 테스트 대상 모델. ref()를 써야 의존성/이름 해석이 안전함 where coalesce(o.amount, 0) <= 0 -- NULL도 0으로 취급해 실패로 잡음

-- tests/t_recent_orders_have_customer.sql -- 목적: 최근 N일 동안의 주문은 반드시 customers에 존재하는 고객이어야 한다. -- (증분 적재나 조인 순서 문제로 orphan 주문이 생기는 것을 방지) {% set recent_days = var('recent_days', 7) %} -- 기본 7일. 실행 시 --vars '{"recent_days": 14}' 로 오버라이드 가능. {{ config( severity='error' -- 실패 시 파이프라인 차단. 필요하면 'warn' ) }} select o.order_id, o.customer_id, o.order_time from {{ ref('orders') }} as o left join {{ ref('customers') }} as c on o.customer_id = c.customer_id where -- (예시는 SQLite). 엔진별 날짜 함수 차이를 주의 date(o.order_time) >= date('now', '-' || {{ recent_days }} || ' day') -- 고객이 없으면 "고아 주문" → 테스트 실패 대상 and c.customer_id is null

dbt test # 전체 테스트 실행 dbt test --select orders # 특정 모델에 연결된 테스트만 실행 dbt test --select source:raw.* # 특정 소스에 연결된 테스트만 실행 dbt test --select tag:data_quality # 태그 기반 선택 실행

# models/staging/stg_orders.yml version: 2 models: - name: stg_orders columns: - name: status tests: - accepted_values: values: ['PENDING', 'PAID', 'CANCELLED'] severity: warn # 실패해도 파이프라인 중단은 아님

# dbt_project.yml tests: +store_failures: true # 실패한 행을 별도 테이블에 저장 (지원 어댑터 한정)

# models/staging/stg_orders.yml version: 2 models: - name: stg_orders columns: - name: status tests: - accepted_values: values: ['PENDING', 'PAID', 'CANCELLED'] severity: warn

# models/core/orders.yml version: 2 models: - name: orders columns: - name: customer_id tests: - relationships: to: "{{ ref('customers') }}" field: customer_id

-- tests/t_refund_amount_negative_only.sql -- 환불 건은 반드시 금액이 음수여야 한다 select * from {{ ref('orders') }} where status = 'REFUND' and amount >= 0