딥러닝 - 스파이킹 뉴럴 네트워크(Spiking Neural Networks: SNN)

(개념) 뉴런과 뉴런 사이의 상호작용을 뜻하는 스파이크가 가지는 시간적인 개념을 적용함으로써 생물체의 신경계를 모방하는 모델

 

 

 

스파이킹 뉴럴 네트워크와 심층 신경망 사이의 상보적 특성

 

출력 스파이크 추측 방식은 스파이킹 신경망(Spiking Neural Network, SNN)의 입력 스파이크 패턴 처리와 관련된 샘플링 기반 접근 방법을 설명하고 있다. 이 접근 방법은 신경망의 연산량과 에너지 소비를 줄이는 데 중점을 두고 있다. 전체 시간 영역에 분포된 입력 스파이크 패턴 중 일부만을 샘플링하여 스파이킹 신경망을 구동하는 새로운 방식이다.

 

(1세대)  다층 퍼셉트론 신경망을 위한 이진 입출력 을 가지며 디지털 계산을 위한 매우 직관적인 해석과 최적화,  아날로그 특성을 가지는 문제점

(2세대)  디지털 계산이 가능하고 좀 더 생물학적인 접근 및 최근화 기법을 향상,  파라미터 값에 민감하게 동작하는 오류

(3세대)  생물학적인 접근이 가능하고 집적회로 구현이 가능함으로써 연산의 대규모 병렬화가 가능하였으나 아직 확실한 이론이 없으며 다양한 모델과 코딩 체계에 대한 일관된 프레임워크가 부족한 단점을 가지고 있다.

박성모 외, “스파이킹 신경망 기반 뉴로모픽 기술 동향”, TTA, 188호, 3월 2020년, pp.28-33.

뉴런의 내부 상태는 시간과 입력 스파이크에 따라 변화하며 내부 상태가 특정 조건을 만족하면 뉴런은 스파이크를 발생시킨다. 신경계를 구성하는 뉴런은 유형에 따라 각기 다른 행동을 보이기 때문에 SNN 시뮬레이션 프레임워크는 이러한 다양한 뉴런 행동을 지원하여야 한다. 몇몇 프레임워크는 임의의 뉴런 모델을 지원하기 위하여 다목적 프로세서에 의존하여 시뮬레이션을 진행하지만, 실행 시간과 에너지 소모 측면에서 비효율적이다. 이러한 비효율을 극복하기 위하여 일부 프레임워크는 시뮬레이션에 특화된 가속기를 제안한다. 하지만 기존 시뮬레이션 가속기는 모델 중심 설계의 한계로 인하여 제한된 개수의 뉴런 모델만을 지원할 수 있어 목표 SNN을 시뮬레이션하는데 한계가 있다.

 

 

 

 

 

 

 

 

https://itpewiki.tistory.com/3171

SNN(Spike Neural Network)

https://www.aitimes.kr/news/articleView.html?idxno=30537

'온디바이스 AI' 핵심 초저전력·고성능 AI 반도체, 뉴로모픽 컴퓨팅으로 구현...KAIST 연구팀 ‘상