728x90
반응형
적대적 생성 신경망을 활용한 이미지 생성 및 변환 기술
 
인공 신경망이 다양한 노이즈(Noise) 입력을 받아 원하는 카테고리의 기존에 존재하지 않는 새로운 이미지를 생성해내거나 입력 이미지나 비디오를 다른 형태나 정보를 지닌 이미지 또는 비디오로 변환하는 기술
 
기존의 딥러닝 이미지 처리 방식과 다르게 성능을 객관적인 수치로 표시하는 방법이 부족하고,
4K와 같은 고화질 영상을 만들기에 고성능의 메모리가 필요하여 기술의 고화질 영상 생성 기술의 발전속도가 느린 것과 같은 문제가 있다.
 
따라서 앞으로 성능개선 및 성능평가 방법 개발 등 여전히 해결해야 할 문제가 많은 것으로 알려져 있다.
 
[구성] 이미지를 생성하는 생성(Generative) 신경망, 생성 신경망이 만든 이미지를 진짜인지, 가짜인지 판별하는 판별(Discriminative) 신경망
 
[학습] Adversarial training
학습하고자 하는 데이터가 레이블(Label)이 존재하는 지도학습이 아닌 레이블이 존재하지 않는 비 지도학습 방법
 
[구조]
생성 신경망은 노이즈를 입력으로 받아 다수의 층(Layer)을 통과하면서 특징맵(Feature map)을 확장시켜 나가는 구조
판별 신경망은 반대로 특징맵의 크기를 줄여나가는 기존에 많이 활용되는 전통적인 구조의 인공 신경망
 
[구조 및 학습방법]

 

[활용]
1. 노이즈를 이미지로 변환: DCGAN, BEGAN -> ProGAN, SinGAN
2. 이미지를 이미지로 변환: Pix2Pix, -> Pix2PixHD, SPADE, LostGAN, SRGAN, Deepfill, StyleGAN, StarGAN
 
 
 
 
[문제] 딥페이크 (DeepFake)
딥페이크 검증 신뢰도 향상을 위해 독일 뮌헨공대와 이탈리아 나폴리 페데리코 2세 대학 연구진이 개발한 ‘페이스포렌식++(FaceForensics)’ 데이터와 아마존(AWS), 페이스북, 마이크로소프트 등이 모여 만든 DeepFake detection challenge(DFDC) 데이터 그리고 머니브레인이 자체 수집한 KoDF(Korean deepFake detection dataset)까지 광범위한 데이터를 딥러닝 AI에 분석 학습시켜 해당 데이터에 포함된 딥페이크 영상의 검증률을 99%까지 끌어올렸다.
 

생성모델(Generative Model) 연구 동향 및 금융에서의 활용 (주기동, 2021.12.8)
 

첫째, 특정 데이터 세트에 대해 교육을 받으면 원래 데이터의 두드러진 특징을 보여주는 합성 샘플 데이터를 생성하는 방법을 배울 수 있습니다.
 
둘째, 다른 학습 과제와 비교할 때, 생성 작업은 네트워크가 상대적으로 강력한 내부 데이터 표현을 학습 할 필요가 있다고 가정한다.
 
 
 
최근의 주요한 GAN 응용 분야 는 점점 더 높은 해상도의 이미지 생성, 레이블이 붙은 이미지 쌍이없는 한 도메인에서 다른 도메인으로의 이미지 - 이미지 변환, 적은 수의 레이블이있는 샘플의 이미지 분류 [3] , 예를 들어 기존 이미지의 변형 초 - 해상도의 [4] 또는보다 현실적인 하나로 합성 "장난감 이미지"정제하여 [5]. 이 기사의 범위를 벗어나는 애플리케이션뿐만 아니라 감독 또는 반 감독 (클래스 - 컨디셔닝) 시나리오 (예 : StackGAN, 일부 측면에서는 최첨단 기술 임)에 대한 애플리케이션의 다양성이 점차 다양 해지고 있습니다. 이미지 생성을위한), 도메인 적응 모델 및 이산 변수가있는 모델. GAN은 또한 보강 학습 (RL)과 연결되어 있습니다. 예를 들어, 역 RL에서, 학습 과제는 GAN의 판별자를 학습하는 것과 마찬가지로, 보상 기능 자체를 회복하는 것을 포함한다.
 
 

 
SNN & JNN & GAN+α – 인간의 뇌는 지금의 컴퓨팅처럼 선형/순차(Linear/Serial)나 병렬방식(Parallel)이 아닌
 
다층적인(Multi-layered) 가소성(Plasticity)이 있어,
 
뉴런에 불을 붙일 때 고장 난 100개를 우회하거나 점핑할 수도 있고, 과거에는 고장 났지만 다른 기억을 회상할 때에는 다시 살아나 불을 붙일 수 있다.
 
이러한 신경망을 JNN(Jumping Neural Network) 혹은 SNN(Spiking Neural Network)라고 한다.
 
따라서 다층적인 가소성의 메커니즘과 JNN or SNN의 메커니즘을 연구하여 3.0 세대에 융합해야 한다. 또한 사람이 직접 인공지능을 지도학습(Supervised Learning) 해 줄 필요가 없이, 서로 다른 인공지능(AI)이 상호 경쟁을 통해 상호 성능을 개선하는 방법인 생성적 적대 신경망(Generative Adversarial Networks•GAN)도 연구하고 또 다른 +α도 지속적으로 연구해서 융합해야한다.
 

(https://blog.statsbot.co/generative-adversarial-networks-gans-engine-and-applications-f96291965b47

 

- 가장 대표적인 GAN 기법은 DCGAN(Deep Convolutional Generative Adversarial Networks)으로 엔비디아는 이를 이용해 유명 연예인의 이미지를 생성하는 기술을 공개하였음
- 회화 그림 관련 응용 프로그램에 적용되고 있는 SRGAN(Super-Resolution Generative Adversarial Networks)은 저해상도 이미지를 고해상도 이미지로 변환하는 기법임
- 스택 GAN(StackGAN, Stacked Generative Adversarial Networks)은 입력된 문장과 단어를 해석해 이미지를 생성하는 인공지능 기법임
- 3D-GAN 은 MIT 의 AI 연구팀이 공개한 입체 모델 생성 네트워크로 가령 가구 사진을 통해 교육시키면 3D-GAN 은 가구를 3 차원으로 그릴 수 있게 됨
- 사이클 GAN(CycleGAN)은 인공지능이 자율적으로 학습하여 이미지의 스타일을 다른 스타일로 변환시킬 수 있는 기술임
- 디스코 GAN(DiscoGAN)은 인공지능이 자율적으로 서로 다른 객체 그룹 사이의 특성을 파악하여 양자 사이의 관계를 파악할 수 있는 기술임
- GAN 은 기초 연구뿐만 아니라 비즈니스에 응용도 시작되고 있으며, 아마존이 GAN 을 이용한 패션 사업의 구상을 밝힌 것이 대표적임
- 이처럼 200 여 개에 달하는 GAN 의 변형 기술 연구가 폭넓게 진행되고 있는 이유는 GAN이 현재 딥러닝이 안고 있는 많은 문제를 해결해 줄 강력한 무기를 제공할 수 있기 때문임
- GAN 에 대한 기대가 높아지는 만큼 그 위험성에 대한 지적도 나오고 있으며, AI 뿐만 아니라 모든 기술이 그렇듯 이 기술을 어떻게 사용할 것인지는 결국 인간의 결정에 달려 있음
 
(주기동 2017-11-29 1824호)
 
 
 
긍정적 영향:
1) 기존 인공지능 단점 해소, 비지도 학습 구현
2) 시간 및 데이터 용량 문제 자율적 해결
 
부정적 영향:
1) 가짜뉴스
2) 초상권 관련법 등 이미지 관련 제도 혼란
 
 

AI로 '진짜 같은 가짜 만들기' 경쟁

인공지능으로  이미지·음성 감쪽 같이 복제 기사 원문은 인터넷 과학...

blog.naver.com

728x90
Posted by Mr. Slumber
,