OSS (Open Source S/W) - ELK 스택

오픈 소스 기반의 분석 솔루션

 

오픈 소스를 조합해서 모바일 로그 수집 시스템을 만들면 대략 다음과 같은 모양이 됩니다.

 

API 서버에서 로그를 수집해서 카프카등의 큐를 통해서 로그를 모으고, 실시간은 스파크 스트리밍, 배치는 하둡이나 스파크 스트리밍 프레임웍을 이용합니다. 대쉬 보드는 만드는 곳도 있지만, 주피터 노트북이나 제플린 노트북과 같은 노트북을 이용합니다.

 

요즘은 데이타 저장 및 분석에 ELK (Elastic Search + Logstash + Kibana)와 같은 솔루션도 많이 사용하고 있습니다.

출처: https://12bme.tistory.com/169

 

(개념) Elasticsearch, Logstash, Kibana의 세 가지 인기 있는 프로젝트로 구성된 스택을 의미하는 약어

 

사용자에게 모든 시스템과 애플리케이션에서 로그를 집계하고 이를 분석하며 애플리케이션과 인프라 모니터링 시각화를 생성하고, 빠르게 문제를 해결하며 보안 분석할 수 있는 능력을 제공

 

E = Elasticsearch
L = Logstash
K = Kibana

 

ELK 구성도

 

• 데이터 수집 및 가공: beats, logstash
• 데이터 저장: elasticsearch (검색 엔진)
• 시각화: kibana

로그스태시 동작 방식

 

비츠의 종류와 지표

 

엘라스틱서치 클러스터

 

키바나를 이용한 데이터 시각화

 

 

(작동 메커니즘) 

1. Logstash는 데이터를 수집 및 변환하고 올바른 대상으로 전송합니다.
2. Elasticsearch는 수집된 데이터를 인덱싱하고, 분석하고, 검색합니다.
3. Kibana는 분석 결과를 시각화합니다.

(기능) 로그 분석, 문서 검색, 보안 정보 및 이벤트 관리(SIEM), 관찰성 등 광범위한 문제를 해결하는 데 사용됩니다. 또 검색 및 분석 엔진, 데이터 모으기 및 시각화를 제공

 

ELK 구성도

 

ELK 스택 흐름

 

로그 분석으로서의 ELK 흐름

 

ISE의 ELK 순서도

 

시각화 만들기

 

(활용) 빅데이터 분석

 

(비교)

 

(문제점)

1. 개발에 드는 노력

2. 시스템 구매와 운영

3. 연산 시간

 

 

 

 

https://aws.amazon.com/ko/what-is/elk-stack/

ELK 스택이란 무엇인가요? - Elasticsearch, Logstash, Kibana 스택 설명 - AWS

https://www.cisco.com/c/ko_kr/support/docs/security/identity-services-engine/220863-understand-log-analytics-elk-stack-on-ci.html

ISE의 로그 분석-ELK 스택 이해

https://peimsam.tistory.com/706

ELK(Elasticsearch/Logstash/Kibana) 스택

https://heeya-stupidbutstudying.tistory.com/entry/MLOps-%EC%97%98%EB%9D%BC%EC%8A%A4%ED%8B%B1-%EC%8A%A4%ED%83%9DELK-%EC%86%8C%EA%B0%9C-Elasticsearch-Logstash-Kibana

[MLOps] 엘라스틱 스택(ELK) 소개 - Elasticsearch, Logstash, Kibana

https://academic.naver.com/article.naver?doc_id=577375845

네이버 학술정보