프로젝트 관리 - AI

(요구능력) 기존의 PM이 담당했던 것들에 더해 머신러닝 소프트웨어 개발에 대한 운영과 이해 관계, 그리고 기능 및 한계에 대한 현실적인 관점이 필요

 

1) UI/X를 위한 혁신/구상/디자인

전통적인 소프트웨어 엔지니어링 프로젝트에서 PM은 제품 및 기능 혁신에 영향을 주는 핵심 이해관계자였다. AI도 다를 바 없다. 기나긴(그리고 비싼) 개발 여정에 합류하기 전에 원하는 결과물이 무엇인지, 어떻게 결과가 전달될지, 어떻게 제품이 사용될지에 대해 측정하는 것 또한 엄청나게 중요하다. 

 

아이디어 구상 단계에서, AI PM은 UX 목업, 와이어프레임, 유저 서베이를 포함하여 디자인 전문가들이 사용하는 빠른 혁신툴들을 사용할 줄 알아야 한다. 

 

이 단계에서 제품이 해결하는 문제나 기회나 문제를 구성하는 것 또한 중요하다. Neal Lathia는 그의 기사(Machine Learning for Product Managers)에서 ML 설계시 고려해야 할 문제를 6가지 종류(순위, 추천, 분류, 회귀, 클러스터링, 이상감지)로 분류했다. AI PM은 어떠한 문제를 정확하게 해결하고 싶은지 결정하고, 그 문제를 이러한 범주 중의 하나로 분류한 후에만 기능 개발 및 실험 단계에 들어가야 한다. 

 

당신이 하고 있는 것과 다른 프로젝트와의 관련성에 대해 이해한다면 솔루션을 연구 및 구축하는 데 큰 도움이 될 것이다.

 

2) 기능 개발 및 데이터 관리

이 단계에서는 기계 학습 제품에 대한 인풋값에 중점을 둔다. 관계 있는 데이터의 기능을 정의하고 제품을 구동하는 기계 학습 엔진에 연료를 공급하는 데이터 파이프라인을 구축한다.

 

3) 실험

단일 모델을 구축, 평가 및 배포하여 제품을 만드는 것은 불가능하다. 실제로 개발 과정에서 많은 후보 모델들이 (보통 수백 또는 수천개) 생성된다. 어떤 모델이 최종적으로 선택되는지는 질적 요소와 양적 요소를 기반으로 하는 복잡한 결정 과정이 필요하다. 

 

결과적으로, AI 실험을 설계, 구현 및 관리하는 것은 그 자체로 AI 제품일 때도 있다. MLFlow나 Weights & Biases와 같은 도구는 실험을 관리하는 데 도움이 되도록 설계되었다.

 

4) 연구

많은 조직이 연구와 관련해 뛰어난 사람들을 고용한 후, 그들을 거의 방향성이 없는 곳에 놓고 '혁신'이 나타날 것으로 기대하는 실수를 범한다. 그 결과 버려지기 직전의 상태일 정도로 가치가 없는, 과도하게 엉망진창인 상태가 되어 버릴 때가 종종 있다. 

 

연구 단계의 PM은 AI 연구 제품이 최우선 제품이라는 것을 이해하기 때문에 성공하는 데 필요한 모든 도구, 구조, 관계 및 리소스를 개발한다. 여기에는 제품 로드맵, 실험, 사용자 인터페이스 및 디자인에 대한 투자가 포함된다. 게다가 연구 PM은 그들 제품의 수명 주기를 정의하고 측정한다.

 

5) 모델링

모델은 종종 AI 제품의 가장 중요한 구성 요소로 잘못 해석된다. 실제로, 모델은 보통 코드베이스에서 가장 작은 양의 코드이며 인간의 개입이 가장 적다. (적은 인간 종속성을 가진다.) 

 

성공적인 모델의 배포는 뛰어난 조직에서도 찾기 거의 어렵다. 선택한 기계 학습 기술이 적합하다고 가정하면 PM은 모델에 대해 몇 가지 중요한 결정을 내려야 한다. PM은 연구 코드를 리팩토링할지(완전히 다른 언어로 이식할지), ML 모델의 추론 엔진 범위를 결정하고, (재사용성 및 버전 제어를 위해) 모델 형식을 결정하고, 모델링 기술이 다음을 수행할 수 있는지 확인해야 한다. AI 시스템의 SLA(서비스 수준 계약)를 지원하고 배포 및 유지 관리를 계획하기도 한다.

 

6) 서비스 기반

모든 데이터 제품의 기반은 '데이터 수집, 데이터 저장, 데이터 파이프라인, 데이터 준비 및 기존 분석을 포함한 견고한 데이터 인프라'로 구성된다. 이 단계의 PM은 미래 제품의 설계, 개발 및 사용을 지원하는 데 필요한 인프라를 구축하여 제품을 생산할 수 있는 방법을 준비한다. 

 

여기에는 모델 개발(예: Cloudera Data Science Workbench, Domino Data Lab, Data Robot 및  Dataiku) 및 프로덕션 서비스 인프라를 위한 도구(예: Seldon, Sagemake, TFX)가 포함된다.

 

회사마다 관행이 매우 다르기 때문에 AI PM이 수행하는 역할도 다를 수 있다. 따라서 모든 핵심 기능에서의 역량을 개발하는 것이 좋다. 분야, 기술, 조직이 다양해짐에 따라 전문화는 필수이자 공통사항이 될 것이다. 

 

대기업에서 제품 관리는 제품이 파이프라인을 통해 이동함에 따라 여러 번 담당자가 바뀔 수 있다. 그래서 제품 개발의 총 책임을 지는 프로덕트 오너(Product Owner)가 있을 것이다. 소규모 회사에서는 PM 한 명이 제품 구상에서 운영까지 총괄할 수 있다.

 

 

AI PM의 데이터 전문성

PM은 교차 기능(cross-functional) 기술 셋을 통해 제품을 시장에 출시하고 제품 수명 주기 전반에 걸쳐 지원할 수 있어야 한다. 어떤 제품 관리자는 소프트웨어 엔지니어링에 대한 배경 지식이 더 많은 사람일 수 있다. 또 다른 사람들은 디자인, 고객만족도, UI/UX 또는 제품 개발 등 다른 분야에 대한 전문가일 수 있다. 

 

AI PM은 전체 파이프라인을 읽고 제품을 관리할 수 있어야 하며, 결과적으로 개별적인 주요 범주에 대한 전문 지식이 필요하다. 여기서 살펴보는 내용의 궁극적인 목표는 AI PM을 성장시키기 위한 기술에 초점을 두는 것이 아니라, AI 제품 수명 주기를 지원하는 데 필요한 최소한의 실행 가능한 기술을 익히는 데 있다는 점을 참고하길 바란다.

 

1) 기술 데이터 수명 주기 및 파이프라인 관리

품질 데이터 없이는 어떤 AI 제품도 성공할 수 없다. AI PM은 리소스 제약이 거의 없는 환경에서 운영하는 방법을 배워야 한다. ㅡ데이터 수집, 실험 및 고객 대면, 시간 경과에 따른 품질 보장에 관련된 경제적인 문제ㅡ 최소한 AI PM은 이 분야의 어휘를 이해하고 제품의 유통에 영향을 미칠 플랫폼에 대해 알아야 한다.

 

2) 실험과 측정

탐색 실험, 배포 전의 테스트나 배포 후의 평가를 통해 AI PM은 탁월한 실험 설계자여야 하며 실험 결과를 해석하는 전문가여야 한다. 최소한의 기술셋에는 확률 이론(분포, 코호트, 신뢰도, 검정력 등)에 대한 기본 이해, A/B 테스트, 모델 평가 기술에 대한 깊은 지식이 포함된다. Avinash Kaushik의 <Web Analytics 2.0>은 이런 메트릭과 분석에 대한 자료로 활용될 수 있으니 참고하길 바란다. 

 

3) 기술 기반의 DS/ML/AI 개발 프로세스

최소한 소프트웨어 엔지니어링 PM은 효과적인 소프트웨어 개발 프로세스와 언어에 능숙해야 한다. 그들은 애자일 소프트웨어 개발에 대한 룰, 지속적인 관리(CI/CD), 데브옵스 원칙에 익숙해야 한다. 

 

AI PM은 CRISP-DM , Microsoft TDSP 또는 머신러닝의 개발 프로세스에 대한 어느 정도의 전문 지식을 보유해야 한다. AI PM이 소프트웨어 제품에 대한 배경 지식이 없는 경우, 유경험자 PM의 도움을 받아야 한다. 여기서 중요한 점은 ‘많은 프로세스를 사용하는 것’이 아니라 ‘내게 적합한 프로세스를 갖는 것’이다.

 

 

결론적으로 많은 기술을 갖으려 하기보다 필요한 기술을 갖기 위한 노력이 필요하다. 이제는 AI 관련 능력을 함양하려는 이들을 위한 많은 리소스가 존재한다. 도서를 포함해 블로그, 논문, 행사, 교육 등 유료 혹은 무료 서비스들이 즐비하다. AI PM은 어떤 것에서도 전문가일 필요는 없다. 하지만 PM으로 성공하고 싶다면 AI 제품이 구축되는 방식에 대한, 전반적으로 폭넓은 관점을 가지고 있어야 한다.

 

 

https://www.hanbit.co.kr/channel/category/category_view.html?cms_code=CMS5471353752&cate_cd= 

AI 제품 관리자에게 필요한 실무 기술