List
데이터 메시의 사회적인 측면
데이터 메시는 단순한 기술적 전환을 넘어, 조직 내부에서 복잡한 분석 데이터를 공유하고 관리하기 위한 사회·문화적 접근임을 강조합니다. 앞서 기술적인 측면에서 다양한 접근 방식을 살펴보았다면, 이번 장에서는 데이터 메시가 조직 내에서 사람들의 역할, 책임, 동기 부여, 그리고 집단적 상호작용에 어떠한 변화를 초래하는지에 대해 이야기해보고자 합니다.
데이터 메시를 적용한 갤브레이스의 스타 모델
데이터 메시의 성공적인 실행을 위해 조직 전체를 재설계할 필요가 있습니다. 이를 위해 갤브레이스의 스타 모델(전략, 구조, 프로세스, 보상, 인력)을 데이터 메시 실행에 맞게 재구성할 수 있습니다. 각 요소가 데이터 메시 도입에 어떤 의미를 갖는지 살펴보겠습니다.
전략
•
탈중앙화와 임베디드 데이터: 중앙 집중식 데이터 관리에서 벗어나, 각 도메인에 데이터와 머신러닝 기술을 내재화하여 차별화된 경쟁 우위를 창출합니다.
구조
•
거버넌스와 도메인 중심 조직: 데이터 오너십을 명확히 하고, 도메인 및 플랫폼 팀의 토폴로지를 재정의하여 각 조직 구성원이 자율적으로 데이터 제품을 관리할 수 있도록 구조를 설계합니다.
프로세스
•
연합 거버넌스 및 데이터 플로우: 데이터 메시 기반의 데이터 플로우와 각 도메인의 데이터 오너십 체계를 마련해, 도메인 간 협업과 효율적인 데이터 관리 프로세스를 구축합니다.
보상
•
동기 부여를 위한 보상 체계: 도메인의 자율성, 명확한 목적, 진행 상황에 따른 보상 요소를 마련해 구성원들이 데이터 제품 개발에 적극적으로 참여하도록 유도합니다.
•
제품으로서의 데이터: 데이터를 단순한 자원이 아닌, 하나의 제품으로 인식하고 그 가치에 따른 보상이 주어져야 함을 강조합니다.
인력
•
데이터 제너럴리스트와 전문가의 조화: 조직 내 모든 구성원이 데이터에 대한 기본적인 이해를 바탕으로 협업할 수 있도록, 제너럴리스트와 전문 데이터 인력 간의 시너지 창출을 도모합니다.
변화
데이터 메시를 도입하려면, 기존의 데이터 중심 조직 구조를 새롭게 만들거나 발전시키는 변화가 필요합니다. 이를 위해서는 무브먼트 기반의 점진적 변화가 효과적입니다.
•
작은 사회적 무브먼트로 시작: 초기에는 소규모의 변화를 시도해 조기에 강력한 성과를 내고, 그 결과와 효과를 입증하는 것이 핵심입니다.
•
문화적·구조적 변화의 병행: 경영진은 탈중앙화된 데이터 중심 조직이라는 비전을 하향식으로 명확하게 전달하고, 상향식으로 기술 지원, 인센티브, 교육 등을 제공하여 조직 전반에 변화를 이끌어내야 합니다.
문화
조직 문화는 구성원들이 사용하는 언어, 가치, 신념, 규범을 반영합니다.
현재 많은 조직이 중앙에서 데이터를 수집하는 방식에 의존하면서 데이터의 양 자체에만 가치를 두고 있는 경향이 있습니다.
하지만 데이터 메시는 이러한 중앙 집중식 문화와는 상충되므로, 다음과 같은 문화적 변화가 필요합니다.
•
중앙 집중식 사고에서의 전환: 기존에는 데이터 파이프라인, 표준 모델, 단일 진실 공급원 등 중앙 집중형 개념이 보편적이었지만, 이제는 각 도메인이 자율적으로 데이터를 생산하고 공유하는 문화로 진화해야 합니다.
가치
데이터 메시 문화의 토대를 이루는 핵심 가치는 다음과 같습니다.
1.
분석 데이터는 모두의 책임이다
모든 구성원이 데이터 관리와 활용에 대한 책임을 가져야 합니다.
2.
데이터를 연결하여 가치를 창출하라
단편적인 데이터가 아닌, 데이터 간 연결성을 통해 새로운 가치를 만들어내야 합니다.
3.
데이터 사용자를 만족시켜라
데이터 소비자의 요구와 경험을 최우선으로 고려합니다.
4.
데이터의 영향력에 가치를 매겨라
데이터가 조직에 미치는 영향을 면밀히 평가하고 그 중요성을 인식합니다.
5.
변화와 내구성, 독립성을 위해 데이터 프로덕트를 빌드하라
지속가능하고 독립적인 데이터 제품 개발을 통해 조직의 변화에 기여합니다.
6.
로컬 데이터 공유와 글로벌 상호운용성의 균형
각 도메인의 자율성과 조직 전체의 통합을 동시에 추구합니다.
7.
P2P 방식의 데이터 공유
피어 투 피어 데이터 공유를 통해 데이터 협업의 간극을 좁힙니다.
8.
자동화를 통한 데이터 공유 속도와 품질 향상
자동화 도구를 활용하여 효율적이고 일관된 데이터 관리 환경을 조성합니다.
보상
과거에는 도메인 팀이 필요한 데이터를 가져오기 위해 복잡한 ETL 파이프라인을 별도로 구축하거나, 데이터 팀이 이유 없이 ETL 파이프라인을 설계하는 등 동기 부여가 부족한 상황이 자주 발생했습니다.
이와 같이 동기 부여가 부족하면 데이터 품질과 모델링에 한계가 생기기 때문에, 올바른 데이터 메시 실행을 위해서는 내적 동기와 외적 동기를 모두 고려한 보상 체계가 필요합니다.
내적 동기
데이터 메시 접근 방식은 구성원들이 본질적인 동기를 느낄 수 있도록 아래 세 가지 요소를 강조합니다.
•
자율성: 데이터 오너십과 기술·비즈니스 연계 도메인에서 자율성을 보장합니다.
•
숙련도: 분석 데이터의 관리, 공유, 사용에 필요한 기술적 숙련도를 강화합니다.
•
목적: 데이터를 제품으로 인식하고 직접 공유함으로써 명확한 목표 의식을 확립합니다.
외적 동기
외적 보상 시스템은 명확한 성과 기준에 기반해야 합니다.
•
성과 평가의 분리: 기존의 회고적 평가(직원 성과 검토, 보상 등)와 미래 지향적 목표(데이터 메시 실행 목표)는 분리하여 관리해야 합니다.
•
미래 지향적 인센티브: 도메인 팀이 장기적인 목표에 집중할 수 있도록, OKR(Objectives and Key Results) 등 미래 지향적 목표와 측정 방식을 도입합니다.
예시로는 다음과 같은 측정 지표가 있습니다.
•
도메인 내 데이터 프로덕트 사용 증가
– 도메인에서 생성한 데이터 프로덕트를 활용하는 다운스트림 프로덕트 수의 변화와, 최종 소비자가 데이터를 직접 활용하는 사례를 함께 평가합니다.
•
데이터 신뢰도 및 확신 향상
– 데이터 프로덕트의 완성도와 관련된 서비스 수준 목표(SLO)를 일정 기간 동안 측정하여 평가할 수 있습니다.
구조
조직 설계에서 구조는 가장 중요한 요소 중 하나입니다. 조직 구조를 결정할 때 고려해야 할 사항은 다음과 같습니다.
•
의사 결정 권한: 중앙 집중식으로 할지, 아니면 도메인별로 탈중앙화할지 결정합니다.
•
팀과 부서의 토폴로지: 어떤 팀과 부서를 중심으로 조직을 구성할 것인지 고민해야 합니다.
•
팀의 형태: 평면적 조직 구조가 적합한지, 아니면 계층적 구조가 필요한지를 판단합니다.
데이터 프로덕트의 경계 정하기
효과적인 팀 구성과 역할 분담을 위해서는 먼저 데이터 프로덕트의 경계를 명확히 설정해야 합니다. 아래의 질문들을 통해 데이터 프로덕트를 어떻게 구성할지 고민할 수 있습니다.
1.
기존 비즈니스 도메인과 서브도메인 기준
•
데이터 프로덕트가 비즈니스 도메인과 일치하는가?
•
이론적 모델링을 기반으로 데이터 프로덕트를 제작하고 있는가?
•
비즈니스 현실과 모델이 일치하는가?
2.
장기적 소유 도메인의 존재
•
각 데이터 프로덕트를 장기적으로 소유할 도메인이 명확한가?
•
해당 도메인에 데이터 프로덕트를 책임지고 관리할 인력이 있는가?
3.
독립적인 수명 주기
•
데이터 프로덕트가 사용 편의성과 원자적 무결성을 위해 높은 응집력을 갖추고 있는가?
•
프로덕트 내 모든 데이터의 수명 주기가 동일한가?
•
각 데이터 프로덕트가 독립적인 프로세스와 트리거에 따라 관리되고 있는가?
4.
독립적 의미 부여
•
데이터 프로덕트가 단독으로 의미 있는 데이터를 제공하는가?
•
사용자가 별도의 조인이나 연결 없이도 데이터를 활용할 수 있는가?
5.
사용자 중심 설계
•
데이터 프로덕트를 실제로 사용하는 사용자가 존재하는가?
•
보고용, 머신러닝 모델 학습, 다운스트림 데이터 프로덕트 공급 등 명확한 사용 사례가 마련되어 있는가?
인력
조직 설계의 또 다른 중요한 축은 인력입니다. 인력 측면에서는 구성원의 역할, 역량 개발, 교육, 채용 과정 등이 포함됩니다.
역할
•
데이터 프로덕트 오너
– 도메인 내에서 개별 데이터 프로덕트를 관리하며, 비전과 로드맵 수립 및 의사 결정을 주도합니다.
– 데이터 소비자의 만족도를 지속적으로 측정하고, 다른 프로덕트 오너와 협력하여 프로덕트의 수명 주기를 관리합니다.
– 성공 기준과 비즈니스 KPI를 정의하고 개선합니다.
•
도메인 데이터 프로덕트 개발자
– 애플리케이션 개발자와 긴밀히 협력해 도메인 데이터 시맨틱을 정의합니다.
– 운영 데이터(애플리케이션 콘텍스트)와 분석 데이터(데이터 프로덕트 콘텍스트)를 매핑하고, 필요한 변환 로직 및 보증 체계를 구축·유지합니다.
•
플랫폼 프로덕트 오너
– 플랫폼 서비스의 우선순위를 설정하고, 사용자 경험을 설계 및 구축합니다.
– 여러 팀과 협력하여 플랫폼 사용자 경험을 지속적으로 개선합니다.
스킬셋 개발
데이터 메시 전략의 성공을 위해서는 조직 내 모든 구성원이 데이터 평가와 활용에 필요한 역량을 갖추어야 합니다. 이를 위해서는 데이터 리터러시 프로그램을 의도적으로 설계하고 실행할 필요가 있습니다.
•
교육을 통한 데이터 민주화: 다양한 역할과 기술 수준의 구성원이 데이터 활용에 적극 참여할 수 있도록 지원합니다. 데이터 메시는 구성원이 전문 데이터 스페셜리스트가 되는 것뿐 아니라, 각자의 도메인에서 데이터 전문가로 거듭나기를 기대합니다.
•
유연한 인재 확보: 기존의 전문화되고 고립된 팀을 교차 기능적, 협업적인 팀으로 전환하는 동시에, 제너럴리스트와 데이터 전문가 간의 지식 격차를 해소할 수 있는 경력 개발 경로를 마련해야 합니다.
마무리
이번 장에서는 데이터 메시를 조직과 문화 차원에서 어떻게 준비하고 실행할 수 있는지에 대해 살펴보았습니다. 데이터 메시 도입은 단순히 기술을 전환하는 것이 아니라, 구성원들이 데이터 제품에 대한 책임감을 갖고 자율적으로 운영할 수 있는 사회적·문화적 변화를 동반합니다.
다음 글에서는 데이터 메시에 대한 저의 생각을 간단하게 정리하며 회고하는 시간을 가질 예정입니다.