빅데이터 - 데이터 메시 (data mesh)

(개념) 데이터를 관리하는 주체를 단일 데이터 팀이 아닌 조직 내 여러 도메인 팀으로 분산시켜 관리하는 방식으로 전환하는 것이 목적인 데이터 아키텍처

 

 

 

 

 

 

데이터 메시와 데이터 레이크의 차이점은 무엇인가요?

데이터 레이크는 전처리 없이 어떤 규모로든 정형 및 비정형 데이터를 모두 저장할 수 있는 리포지토리입니다. 중앙 집중식 데이터 플랫폼에서 데이터 레이크는 가능한 모든 소스의 데이터를 저장하는 핵심 기술입니다.

 

데이터 메시는 데이터 레이크를 이와 다른 방식으로 사용하는 데이터 관리 패러다임입니다. 데이터 레이크는 더 이상 전체 아키텍처의 중심이 아닙니다. 대신, 데이터 제품을 구현하는 데 사용하거나 셀프 서비스 인프라의 일부로 사용할 수 있습니다.

 

데이터 메시와 데이터 패브릭의 차이점은 무엇인가요?

데이터 패브릭은 기계 학습 및 자동화 기술을 사용하여 다양한 클라우드 환경과 데이터 파이프라인을 전면적으로 통합하는 또 다른 최신 아키텍처입니다. 데이터를 긴밀하게 통합하여 기술적 지식이 없는 사용자에게 제공하는 기반 인프라의 기술 계층이라고 할 수 있습니다. 일례로, 의사 결정권자는 데이터 패브릭을 사용하여 모든 데이터를 한곳에서 보고 다양한 데이터 세트를 서로 연결합니다.

 

데이터 패브릭과 데이터 메시는 효과적인 통합 데이터 관리라는 유사한 목표를 가지고 있습니다. 중앙 데이터 레이크가 있고 데이터 수집에 AWS 서비스를 사용하는 경우를 예로 들어 보겠습니다. 거기에 더해, 데이터 변환을 위한 레거시 인프라도 있습니다. 데이터 패브릭은 두 시스템을 통합하고 기존 파이프라인을 변경하지 않으면서 통합 보기를 제공합니다.

즉, 데이터 패브릭은 기술을 사용하여 기존 인프라와 함께 작동합니다. 반면, 데이터 메시 구현에서는 기본 인프라 자체를 변경해야 합니다. 비즈니스 도메인 전반에서 데이터 관리의 푸시-수집 모델을 서비스-풀 모델로 변경해야 합니다.

 

 

https://www.hanbit.co.kr/channel/category/category_view.html?cms_code=CMS7014530178&cate_cd=

다프는 왜 기존 아키텍처에서 데이터 메시로 전환하였을까?

https://aws.amazon.com/ko/what-is/data-mesh/

데이터 메시란 무엇인가요? - 데이터 메시 아키텍처 설명 - AWS