[개념] 순차 데이터를 기반으로 상태를 은닉할 상태에서 데이터를 예측할 때 사용하는 통계기반 모델
- 마르코프 과정을 통해 변화하는 은닉변수 모델을 통해 상태들 간의 전이를 특정 확률 분포로 표현하는 통계적 모델
- 순차적인 데이터를 다루는 데 강점을 지녀 개체명 인식, 포스태깅 등 단어의 연쇄로 나타나는 언어구조 처리에 과거 많은 주목을 받았던 기법
[구조] x(t-1) -> x(t) -> x(t+1)
(확률변수x,시간t,->조건부 의존성)
[특징] 은닉상태, 마르코프체인, 순차데이터, 문맥의존데이터
[구성] 은닉변수, 관찰결과, 확률적 관계(모수)
전이 확률(마르코프 행렬 상태N(N-1)),
출력 확률(N(차원M-1))
[표현]동적 베이지안 네트워크
[아키텍처]
1)어고딕 모델(완전연결구조) : 가장 높은 표적, 영상추출
2)좌우모델(상태전이 왼쪽>오른쪽) : Back불가, 음성인식,필기
[매개변수] 1)상태전이확률, 2)관측확률 3)초기상태확률벡터
[문제점]
1)확률평가 문제->동적 프로그래밍(forward, backward 알고리즘)
2)최적상태 열 탐색(디코딩)->동적 프로그래밍(Viterbi 알고리즘)
3)파라미터 추정(학습)->우도(likehood) 최대화 추정 학습(EM 알고리즘)
[활용] 컴퓨터비전,데이터마이닝,정보검색,인식패턴(필기,제스처,음성,동작)
[추론문제 활용]
1)사건관찰확률 추론(전향 알고리즘)
2)특정은닉변수확률 추론(전향,전향후향)
3)가능성높은 설명추론(비터비 알고리즘)
4)통계적 유의성(전향알고리즘, 비터비 알고리즘)
[은닉 마르코프 모델(Hidden Markov Model)]
- 관측될 수 없는 은닉 상태를 관측이 가능한 결과를 통하여 모델링(모형화)하는 이중 확률론적 모델 (마르코프 모델에서 상태를 Hidden, 문맥 의존 데이터/순차데이터 인식 대표 모델)
HMM의 기반이 되는 마르코프(MM) 모델의 가정
- 특정 사건이 관측될 확률은 이전 시간 관측 결과에 의존하며, 상태를 직접 볼 수 없음
[은닉 마르코프 모델(HMM)의 기본 모델도와 유형]
기본 모델도 : 은닉상태간 확률 및 HMM 모수바탕으로, 보이지 않는 상태(날씨)를 예측
-> Initialization, State Transition, Observation 확률기반 산출
[HMM 유형]
Ergodic Model -모든 상태가 연결, 상태간 확률 연계(순환모델)
Left to Right Model - 상태 전이가 순차발생(일자형 모델)
[은닉마르코프 모델 구성요소]
주요변수(Initialization확률, State transaction확률, Observation 확률)
HMM구성(은닉상태 집합, 관찰가능 상태집합, 상태전이 행렬, 관찰확률 행렬, 파이벡터)
[은닉 마르코프 모델(HMM) 적용시 고려사항과 적용방안]
항목/고려사항/적용 방안
1)최적해 찾기/가장 최적의 숨겨진 상태열을 찾아야 함/ Viterbi 알고리즘기반 도출 (동적 프로그래밍 , Bookkeeping)
2)파라미터 추정/ 학습데이터를 기반으로 관측열의 최적화된 모델 파라미터를 찾아야 함/Baum-Welch알고리즘 기반 도출 (Iterative하게 Hidden과 파라미터를 번갈아가며 추정하는 방식 )
3)확률평가 문제/ 관측값이 다수일 때 최적 모델을 찾아야 함/Forward, Backward 알고리즘 기반 도출 (동적 프로그래밍을 통해 최적 도출 )
- Rabiner 연구기반 HMM 기본 3가지 문제를 고려하여 적용하는 것이 중요
마코프 체인
은닉마코프모델은 마코프 체인(Markov chain)을 전제로 한 모델입니다. 마코프 체인이란 마코프 성질(Markov Property)을 지닌 이산확률과정(discrete-time stochastic process)을 가리킵니다. 마코프 체인은 러시아 수학자 마코프가 1913년경에 러시아어 문헌에 나오는 글자들의 순서에 관한 모델을 구축하기 위해 제안된 개념입니다.
한 상태(state)의 확률은 단지 그 이전 상태에만 의존한다는 것이 마코프 체인의 핵심입니다. 즉 한 상태에서 다른 상태로의 전이(transition)는 그동안 상태 전이에 대한 긴 이력(history)을 필요로 하지 않고 바로 직전 상태에서의 전이로 추정할 수 있다는 이야기입니다. 마코프 체인은 아래와 같이 도식화됩니다.
은닉 마코프 모델
은닉마코프모델은 각 상태가 마코프체인을 따르되 은닉(hidden)되어 있다고 가정합니다. 예컨대 당신이 100년 전 기후를 연구하는 학자인데, 주어진 정보는 당시 아이스크림 소비 기록뿐이라고 칩시다. 이 정보만으로 당시 날씨가 더웠는지, 추웠는지, 따뜻했는지를 알고 싶은 겁니다. 우리는 아이스크림 소비 기록의 연쇄를 관찰할 수 있지만, 해당 날짜의 날씨가 무엇인지는 직접적으로 관측하기 어렵습니다. 은닉마코프모델은 이처럼 관측치 뒤에 은닉되어 있는 상태(state)를 추정하고자 합니다. 날씨를 예시로 은닉마코프모델을 도식화한 그림은 다음과 같습니다.
위 그림에서 B1B1은 날씨가 더울 때 아이스크림을 1개 소비할 확률이 0.2, 2개 내지 3개 먹을 확률은 각각 0.4라는 걸 나타냅니다. B1B1은 날씨가 더울 때 조건부확률이므로 HOT이라는 은닉상태와 연관이 있습니다. BB는 방출확률(emission probablity)이라고도 불립니다. 은닉된 상태로부터 관측치가 튀어나올 확률이라는 의미에서 이런 이름이 붙은 것 같습니다.
Likelihood
우선 우도(likelihood)부터 계산해 보겠습니다. 우도는 모델 λλ가 주어졌을 때 관측치 OO가 나타날 확률 p(Op(O|λ)λ)을 가리킵니다. 바꿔 말해 모델 λλ이 관측치 하나를 뽑았는데 그 관측치가 OO일 확률입니다. 이렇게 관측된 OO가 아이스크림 [3개, 1개, 3개]라고 칩시다. 그럼 모델 λλ가 위의 그림이라고 할 때 이 OO가 뽑힐 확률은 얼마일까요? 이걸 계산해 보자는 겁니다. 아래 그림을 봅시다.
두번째 날짜를 중심으로 보겠습니다. 모델 λλ를 보면 날씨가 더울 때(hot) 아이스크림을 1개 먹을 확률은 0.2입니다. 그런데 두번째 날이 전날에 이어 계속 더울 확률은 0.6이므로 이를 곱해주어야 둘째 날의 상태확률를 계산할 수 있습니다. 여기에서 마코프 체인을 따른다고 가정하므로 상태확률을 계산할 때는 직전 상태만을 고려합니다. 위 그림을 식으로 나타내면 다음과 같습니다.
각 날짜별로 날씨가 더울 수도 있고 추울 수도 있습니다. 따라서 2323가지의 경우의 수가 존재합니다. 아래 표와 같습니다.
