개발 운영이라는 뜻의 데브옵스(DevOps)에 데이터 공학자와 데이터 과학자 역할을 결합한 신조어다. 데이터 중심 기업에 필요한 도구와 공정, 조직 구조를 제공하는 것이 목적이다.
데이터옵스 원칙
데이터옵스는 데브옵스와 마찬가지로 애자일(agile) 방법론에서 시작한다. 고객 만족을 위해 끊임없이 분석 통찰력을 제공한다. 따라서 데이터옵스 팀이 가장 중시하는 것은 ‘효과적인’ 분석이다. 그들은 분석 성과를 측정하고 변화를 추구하며 시시각각 변하는 고객 요구사항을 지속적으로 이해하고자 한다.
데이터옵스 팀은 목표를 중심으로 스스로 조직한다. ‘영웅주의'는 피하면서, 지속 가능하고 확장 가능한 팀과 공정을 지향한다. 이를 위해 처음부터 끝까지 데이터와 도구, 코드, 환경 전체를 장악하려 한다. 재생산 가능한 결과물은 필수이며, 분석 파이프라인을 군살 뺀 제조 설비와 비슷하게 보는 경향도 있다.
데이터옵스가 적합한 업무
더닝에 따르면 오늘날 기업은 광범위한 제품과 서비스에 머신러닝을 접목하고 있고 이는 데이터옵스의 목표 중 하나이기도 하다. 데이터옵스 방식은 머신러닝의 엔드투엔드(end-to-end) 수요를 맞추기 위한 것이기 때문이다. 예를 들어 데이터 과학자가 머신러닝 분석 모델을 실제 시스템에 적용할 때 필요한 것을 확보하기 위해서는 소프트웨어 공학의 도움을 받는 것이 더 수월하다.
머신러닝 외에도 데이터옵스 방식의 조직은 거의 모든 데이터 지향 업무에 유용하다. 기업이 데이터 패브릭의 장점을 잘 활용할 수 있도록 지원한다. 마이크로서비스 아키텍처와 잘 조화를 이루는 것도 장점이다.
데이터옵스의 실제
더닝과 프리드먼에 따르면, 기업이 빅데이터 같은 새로운 데이터 기술을 수용할 때 광범위한 데이터 활용 능력과 이벤트에 대한 실시간 대응 능력을 개선해야 한다. 두 사람은 저서를 통해 "문제는 전통적인 사일로 업무의 경우 지나치게 경직되고 느려 빅데이터 방식이 적합하지 않다는 것이다. 이럴 때는 데이터옵스 방식이 더 유용하다”라고 설명했다.
데브옵스 방식에서는 소프트웨어 개발 전문가와 운영 전문가가 협업해 개발 작업과 현업의 목표를 통합하고, 이에 따라 개발 주기를 단축하며 배치 빈도를 늘린다. 이 과정에서 운영과 소프트웨어 공학, 설계 및 계획, 제품 관리 등 여러 기술을 조합하는 교차기능 팀(cross-functional teams)이 강조된다. 데이터옵스는 여기에 데이터 과학과 데이터 공학 역할을 추가한다. 개발자와 운영 담당자, 데이터 전문가 3자 간의 협업이 필요하다.
데이터과학자 및 개발자를 포함하는 전통적인 데브옵스 팀이 데이터옵스 팀으로 변화한다. 이는 부서 간에 역할 구분을 넘어서는 협력을 통한 목표 달성 가속화, 가치 실현 시간 단축, 높은 민첩성 등을 제공한다. 데이터옵스 형식으로 업무를 관리함으로써 변화하는 환경에 대응하고 적시에 필요한 조치를 취할 수 있는 역량을 제공할 수 있게 된다. 이를 통해 유연성 및 효율성을 확보할 수 있다.
