Mobile Vision Learning

MobileNet V3

MobileNetV3 인코더(하늘색) 및 대칭 디코더(밝은 녹색)가 있는 모델 아키텍처

낮은 자원 요구로 최고의 성능을 찾기 위해 네트워크 아키텍처 검색에 의해 조정된 인코더로 MobileNetV3-small(발표논문)을 수정했다. 모델 크기를 50% 줄이기 위해 구글은 플로트16 양자화를 사용하여 TFLite에 모델을 수출하여 무게 정밀도가 약간 감소했지만 품질에 뚜렷한 영향을 미치지 않았다.

결과 모델은 193K 매개변수를 가지며 크기가 400KB에 불과하다. 분할이 완료되면, 비디오 처리 및 효과 렌더링을 위해 OpenGL 쉐이더를 사용하는데, 여기서 문제는 아티팩트를 도입하지 않고 효율적으로 렌더링하는 것이다. 정제 단계에서는 저해상도 마스크를 매끄럽게 하기 위해 양방향 필터(bilateral filter)를 적용했다.

아티팩트가 감소 된 렌더링 효과: 왼쪽) 조인트 양측 필터 는 분할 마스크를 부드럽게한다. 중간)분리 가능한 필터는 배경 흐림에서 후광 아티팩트를 제거한다. 오른쪽) 배경의 가벼운 래핑이 교체된다

블러 쉐이더(blur shader)는 렌즈의 초점이 맞지 않을 때 필름의 영상에 희미하게 퍼지는 광학계의 CoC(Concusion-of-conflusion)과 유사한 분할 마스크 값에 비례하여 각 픽셀에서 블러 강도를 조정함으로써 생성 된 흐림의 미적 품질 포커스 아웃 이미지의 일부를 말하는 보케(bokeh) 효과를 시뮬레이션 한다.

픽셀은 CoC 반경에 의해 가중치가 부여되어 전경 픽셀이 배경으로 블리딩되지 않는다. 사람을 둘러싼 배경 이미지를 제거하기 때문에 인기 있는 가우시안 피라미드(이미지 처리) 대신 가중된 흐릿함을 위한 분리 가능한 필터를 구현했다. 블러는 효율을 위해 낮은 해상도로 수행되고, 원래 해상도에서 입력 프레임과 혼합된다.

http://www.aitimes.kr/news/articleView.html?idxno=18304

Jaewook's seminar material in Hanlim university @ 20180525

180525mobilevisionnethanlimextended-180530154708.pdf

(https://www.slideshare.net/JaewookKang1/180525-mobile-visionnethanlimextended)