오픈 소스 기반의 분석 솔루션
오픈 소스를 조합해서 모바일 로그 수집 시스템을 만들면 대략 다음과 같은 모양이 됩니다.
API 서버에서 로그를 수집해서 카프카등의 큐를 통해서 로그를 모으고, 실시간은 스파크 스트리밍, 배치는 하둡이나 스파크 스트리밍 프레임웍을 이용합니다. 대쉬 보드는 만드는 곳도 있지만, 주피터 노트북이나 제플린 노트북과 같은 노트북을 이용합니다.
요즘은 데이타 저장 및 분석에 ELK (Elastic Search + Logstash + Kibana)와 같은 솔루션도 많이 사용하고 있습니다.
출처: https://12bme.tistory.com/169
(개념) Elasticsearch, Logstash, Kibana의 세 가지 인기 있는 프로젝트로 구성된 스택을 의미하는 약어
사용자에게 모든 시스템과 애플리케이션에서 로그를 집계하고 이를 분석하며 애플리케이션과 인프라 모니터링 시각화를 생성하고, 빠르게 문제를 해결하며 보안 분석할 수 있는 능력을 제공
E = Elasticsearch
L = Logstash
K = Kibana
- 데이터 수집 및 가공: beats, logstash
- 데이터 저장: elasticsearch (검색 엔진)
- 시각화: kibana
(작동 메커니즘)
- Logstash는 데이터를 수집 및 변환하고 올바른 대상으로 전송합니다.
- Elasticsearch는 수집된 데이터를 인덱싱하고, 분석하고, 검색합니다.
- Kibana는 분석 결과를 시각화합니다.
(기능) 로그 분석, 문서 검색, 보안 정보 및 이벤트 관리(SIEM), 관찰성 등 광범위한 문제를 해결하는 데 사용됩니다. 또 검색 및 분석 엔진, 데이터 모으기 및 시각화를 제공
(활용) 빅데이터 분석
(비교)
(문제점)
1. 개발에 드는 노력
2. 시스템 구매와 운영
3. 연산 시간
https://aws.amazon.com/ko/what-is/elk-stack/
https://peimsam.tistory.com/706
https://academic.naver.com/article.naver?doc_id=577375845
'02.SW' 카테고리의 다른 글
SW 개발 보안 - 시큐어 코딩 (0) | 2024.04.03 |
---|---|
프로젝트 관리 - 인적자원 관리 - 동기부여 이론 (0) | 2024.02.20 |
OSS (Open Source S/W) - 기업 혁신 탐색(Exploration)과 효율 추구(Exploitation) 관점 (0) | 2024.02.16 |
OSS (Open Source S/W) - 개방형 적응 SW(Open Adoption Software) (0) | 2024.02.16 |
OSS (Open Source S/W) - 거버넌스 (0) | 2024.02.16 |