List
데이터 메시 실행 프레임워크
데이터 메시(Data Mesh)를 조직에 성공적으로 도입하고 확산시키기 위해서는 단순히 기술을 도입하는 것을 넘어, 구체적이고 체계적인 실행 전략이 필요합니다. 이번 장에서는 데이터 메시 실행 프레임워크의 세 가지 핵심 전략(비즈니스 주도 실행, 엔드 투 엔드 방식의 반복적 실행, 진화적 실행)과 래거시 시스템으로부터의 전환 전략을 살펴봅니다.
1. 비즈니스 주도 실행
데이터 메시 실행에서 첫 번째 전략은 비즈니스 주도 실행입니다. 이는 비즈니스 요구와 사용 사례를 중심으로 데이터 메시를 점진적으로 도입해, 지속적 가치와 결과를 창출하는 접근 방식입니다.
이점
•
지속적 가치와 결과 제공 및 입증
데이터 메시 도입 후 각 도메인이 자율적으로 운영되면서 실시간 데이터를 활용, 비즈니스에 지속적인 가치를 제공하고, 그 결과를 입증할 수 있습니다.
•
소비자의 신속한 피드백
데이터 소비자(분석가, 데이터 과학자 등)로부터 신속한 피드백을 받아, 데이터 프로덕트 개선에 즉각 반영할 수 있습니다.
•
폐기율 절감
중복되거나 불필요한 데이터 프로덕트를 조기에 식별하고 폐기함으로써, 자원을 효율적으로 재배분할 수 있습니다.
난제
•
포인트 인 타임 솔루션 빌드
특정 시점에 집중되는 비즈니스 요구를 충족하기 위해, 시간에 맞춘 단기 솔루션을 마련하는 것이 어려울 수 있습니다.
•
타이트한 비즈니스 마감 기한 준수
급박한 비즈니스 일정에 맞추어 솔루션을 신속히 제공해야 하는 부담이 존재합니다.
•
프로젝트 기반 예산 책정
장기적 투자와 단기적 프로젝트 예산 사이에서 균형을 찾는 과정이 필요합니다.
가이드라인
•
상호 보완적인 사용 사례를 대상으로 시작하라
여러 도메인에서 동시에 활용될 수 있는 사용 사례를 우선 선정하여 실행 초기의 성공을 보장합니다.
•
데이터 소비자와 제공자의 페르소나를 파악하고 우선순위를 지정하라
각 도메인의 역할과 요구사항에 따라, 실행의 우선순위를 정해 리소스를 효율적으로 배분합니다.
•
누락된 플랫폼 피처에 대한 종속성을 최소화하라
플랫폼에 과도하게 의존하지 않고, 각 데이터 프로덕트가 독자적으로 실행될 수 있도록 설계합니다.
•
플랫폼 서비스와 데이터 오너십에 대한 예산을 장기적으로 수립하라
단기 예산뿐만 아니라, 장기적인 비전과 투자 계획을 마련해 안정적인 실행 기반을 마련합니다.
예시: 한 금융회사가 기존 중앙 집중식 데이터 웨어하우스의 한계를 극복하고, 각 사업 부문별(대출, 보험, 투자 등) 데이터 프로덕트를 독자적으로 운영하며 실시간 리스크 분석과 맞춤형 금융 서비스를 제공한다면, 이는 비즈니스 주도 실행의 성공적인 사례가 될 수 있습니다.
2. 엔드 투 엔드 방식의 반복적 실행
엔드 투 엔드 실행은 데이터 메시를 도입함으로써 데이터 프로덕트의 전체 생애 주기(생성, 빌드, 테스트, 배포, 실행)가 반복적으로, 그리고 동시에 실행될 수 있도록 만드는 전략입니다.
•
전체 프로세스의 반복 실행
데이터 프로덕트의 수가 증가하고, 플랫폼 서비스가 개선되며, 자동화된 정책의 적용 범위가 확장됨에 따라, 어느 시점에서든 여러 실행 절차가 동시에 반복됩니다.
•
상호 데이터 제공
반복적 실행은 서로 다른 데이터 프로덕트가 다양한 데이터를 서로 제공하며, 이로 인해 전체 데이터 메시 생태계가 더욱 풍부하게 확산됩니다.
예시: 전자상거래 기업에서는 주문, 배송, 고객 피드백 데이터를 엔드 투 엔드 방식으로 처리하면서, 각 단계마다 개선된 데이터 프로덕트를 생성하고, 자동화된 정책으로 품질과 신뢰성을 유지합니다.
3. 진화적 실행
데이터 메시 도입은 한 번의 전환이 아니라, 진화적 실행을 통해 점진적으로 이루어집니다. 각 단계에서 참여하는 사용자 그룹과 실행 방식이 달라지며, 이를 통해 조직은 데이터 메시를 점차 확대하고 최적화합니다.
다단계 진화 모델
각 단계별로 이노베이터, 얼리 어답터, 머저리티 어답터, 레이트 어답터, 그리고 레거즈와 같은 다양한 집단이 참여합니다.
•
탐색(부트스트랩) 단계
◦
이노베이터와 얼리 어답터가 초기 데이터 프로덕트를 실험하고, 필수 행위 지원성을 갖춘 프로덕트를 구축합니다.
•
확장(스케일링) 단계
◦
머저리티와 레이트 어답터가 참여하면서 데이터 프로덕트 수가 빠르게 증가하고, 플랫폼 기능이 성숙화됩니다.
•
추출(대규모 운영 유지) 단계
◦
데이터 프로덕트는 안정화되며, 주로 소비자 역할에 집중하고, 플랫폼은 최소한의 변화로 효율적인 운영을 지속합니다.
도메인 오너십의 진화 단계
도메인 오너십 | 탐색(부트스트랩) 단계 | 확장(스케일링) 단계 | 추출(유지) 단계 |
관여 도메인 개수 | 소수 | 빠른 속도로 증가함 | 다수에서 유지 |
관여 도메인 역할 | 데이터 제공자 및 소비자 | 데이터 제공자 위주 | 데이터 소비자 위주 |
도메인 중점 사항 | 성장을 위한 기반 및 관행 마련 | 데이터 메시 전환을 위해 온보딩 장려 | 프로세스 최적화하기 |
도메인 아키타입 | 현대적인 기술 스택을 지닌 데이터 전문가 집단 | 레거시 시스템 보유 머저리티 영역 | 래거즈를 비롯한 후발 주자 |
제품으로서의 데이터의 진화 단계
제품으로서의 데이터 | 탐색(부트스트랩) 단계 | 확장(스케일링) 단계 | 추출(유지) 단계 |
데이터 프로덕트 개수 | 소수 | 빠른 속도로 증가함 | 다수에서 유지 |
데이터 프로덕트의 행위 지원성 | 필수적인 행위 지원만 갖춤 | 신속한 개발을 위해 대부분 지원 | 복원성을 위해 모든 행위 지원을 갖춤 |
데이터 프로덕트 개발 과제 | 합리적인 표준 및 관행 설정 | 다양성 지원 | 최적화 |
데이터 프로덕트 아키타입 | (보안, 신뢰성 측면) 로우 리스크 | 하이 리스크 | 레거시 (새로운 변화를 위해 남겨둠) |
데이터 프로덕트의 역할 | 대부분 소스 데이터 역할 | 애그리거트 역할 포함, 다양해짐 | 대부분 소비자 데이터 역할 |
셀프 서비스 플랫폼 진화 단계
셀프 서비스 플랫폼 | 탐색(부트스트랩) 단계 | 확장(스케일링) 단계 | 추출(유지) 단계 |
플랫폼 서비스 | 대부분 필수 유틸리티 플레인 빌드 | 경험 플레인 빌드 | 자동적인 복원력 유지 |
셀프 서비스 수준 | 제한됨 | 성숙화 단계로 진입 | 소수의 래거즈 대상 최적화됨 |
플랫폼 사용자 | 숙련된 사용자 | 주로 제너럴리스트 기술자 | 소수의 래거즈를 비롯한 후발 주자 |
플랫폼 개발 | 독단적인 기반에 집중함 | 다양한 서비스에 집중함 | 로우 리스크한 경험 최적화에 집중함 |
연합 컴퓨팅 거버넌스 진화 단계
연합 컴퓨팅 거버넌스 | 탐색(부트스트랩) 단계 | 확장(스케일링) 단계 | 추출(유지) 단계 |
관여 도메인 개수 | 한정된 도메인 개수 | 온보딩을 통해 증가 중 | 안정화된 도메인 개수 |
연합 운영 모델 성숙도 | 기초적 수준 (원칙 및 인센티브) | 향상된 수준 (온보딩, 구조, 프로세스) | 자동화 수준 (관찰 가능성, 복원력) |
거버넌스 개발 과정 중점 요소 | 운영 모델, 필수 정책 | 정책 적용 범위 및 다양성 | 정책 최적화 |
컴퓨팅 정책 적용 범위 | 필수적 범위 (보안, 프라이버시 최적화 등) | 너비 우선 적용 범위 | 향상된 피처 대상 |
4. 래거시로부터 마이그레이션하기
데이터 메시를 도입하는 과정에서, 중앙 집중식 데이터 아키텍처와 데이터 메시 아키텍처가 잠시 공존할 수 있습니다. 마이그레이션 중 참고하면 좋을 사항은 아래와 같습니다.
•
중앙 집중식 데이터 기술만 사용: 데이터 메시 차원의 네이티브한 기술이 아직 부족하기 때문에 기존 시스템의 기술을 토대로 데이터 메시를 구축할 수 있습니다.
•
직접 소스 접근: 데이터 웨어하우스나 데이터 레이크를 거치지 않고, 소스 데이터에 직접 접근하여 데이터를 처리합니다.
•
에지 노드 활용: 데이터 소비자 역할을 하는 에지 노드를 통해 데이터를 가져오며, 빅뱅 방식의 대규모 마이그레이션 없이 점진적으로 전환합니다.
•
원자적 진화 단계: 중앙 집중식 시스템에서 단계적으로 데이터 메시로 전환하여, 각 도메인이 자율적으로 운영할 수 있도록 합니다.
마무리
데이터 메시 실행 프레임워크는 비즈니스 주도 실행, 엔드 투 엔드 반복 실행, 그리고 진화적 실행의 세 가지 전략을 기반으로, 조직이 독립성과 협업, 민첩성을 동시에 확보할 수 있도록 설계되었습니다. 각 단계별 진화 모델은 도메인 오너십, 제품으로서의 데이터, 셀프 서비스 플랫폼, 그리고 연합 컴퓨팅 거버넌스의 관점에서 데이터 메시 도입을 체계적으로 추진하는 방법을 제시합니다.
다음 글에서는 데이터 메시를 진화적으로 실행하는 과정에서 팀을 구성하는 방법과 조직 문화를 발전시키는 방법에 대해서 이야기해볼 예정입니다.