빅데이터 - 분석기술 - 분석질의 (SIMD)

칼럼구조DBMS에서 벡터처리기반 관계 연산자 가속화 기술

 

본 기술은 칼럼구조 DBMS에서 벡터 처리를 활용한 관계 연산(자)를 가속화하는 SW 기술이다. 
본 기술은 칼럼구조 데이터베이스 관리시스템(DataBase Management System, 이하 DBMS)의 질의 처리에 적용 가능하다. 
본 기술을 최적으로 활용하기 위해서는 DBMS의 특성에 따라 추가적인 개발 또는 적용 보완이 필요하며, 본 기술이전 대상 SW는 DBMS 엔진 내부에서 칼럼 기반으로 데이터가 저장되어 있음을 가정하고 개발되었으며, 칼럼기반 DBMS인 MonetDB(Mozilla Public License 2.0)에 최적화되어 있다. 

본 기술은 DBMS에서 질의 처리 시간의 많은 부분을 차지하는 정렬 연산, 그룹 연산, 조인 연산에 대한 내용으로만 구성되어 있으나 기술의 내용을 파악하게 되면 다른 연산들로 확장하여 적용할 수 있다.

 

 

 

 

최초로 한 번의 연산으로 여러 데이터 처리가 가능한 SIMD(Single Instruction Multiple Data) : SIMD는 하나의 인스트럭션으로 여러개의 디코드 수행

 

l칼럼구조 DBMS에서 빅데이터 분석 질의를 SIMD연산을 활용한 실행으로 병렬화

   - 최신 HW가 제공하는 병렬성을적극 활용 à 고성능 분석 처리 지원

 

 

 

• 기술의 특징

l빅데이터 분석에 적합한 칼럼구조 데이터에 대한 SIMD 기반 분석 병렬화

l인텔 CPU 제공 AVX 기술 활용 (추가 HW 비용 없음, Haswell 이후 버전 지원)

l고성능 달성 및 기술 이해도 향상을 위한 Intrinsic 활용

lCPU 캐시의 효과적 활용

 

기술 도입 효과

고성능 분석 플랫폼을 통한 빅데이터관련 제품의 경쟁력 향상

• 추가적인 HW 투자 없이, 기존 시스템 기준 획기적 성능 향상으로 가격대비 성능비를 크게 개선
• 빅데이터 플랫폼, 빅데이터 분석 응용서비스 등 관련 산업의 핵심기술로서 산업 영향력이 매우 높으며, 이로 인한 시장 활성화 및 고용창출 효과가 매우 클 것으로 예상
• 빠른 의사결정이 가능한 고성능 분석 지원으로 시장 경쟁력 확대

 

기술 사업화로 인한파급효과

• 외산이 주도하는 빅데이터 시장에서 고성능 분석 플랫폼 기술의 선점 및 기술 독립
• 금융, 유통, 통신, 교통, 제조 등 다양한 산업 영역의 분석 컴퓨팅 인프라로 활용 가능

 

 

 

 

http://rkfka4370.tistory.com/12

SIMD 및 ARM NEON 기술