CDN 모니터링 고도화
수백 대 서버의 로그를 수집하고 시스템 자원·네트워크 사용 현황을 모니터링하는 플랫폼을 구축했습니다. Kafka 와 ELK Stack 으로 자원 활용을 최대화하는 설계를 적용했고, JMeter 기반 부하 시나리오로 무손실 집계까지 검증했습니다.
Apache KafkaELK StackInfluxDBGrafanaJMeter
데이터 플랫폼 구축
Kafka 기반 실시간 수집부터 ElasticSearch · PostgreSQL 저장, Spark · Hadoop 처리, Grafana · Kibana 시각화, HPC · GPU 기반 ML 워크로드까지. SK broadband CDN 모니터링, KISTI HPC 플랫폼, 통계교육원 빅데이터 학습 환경 등 굵직한 사례 위에서 만들어 온 데이터 플랫폼 솔루션입니다.
Kafka · ELKPostgreSQL · ElasticSearchSpark · HadoopHPC · GPU
Data Platform
수집부터 ML 까지, 한 플랫폼 위에서.
데이터 플랫폼은 수집·저장·처리·시각화·ML 등 여러 영역이 맞물려 동작해야 비로소 가치를 만듭니다. 영역별로 따로 만들어 붙이면 운영이 무거워지고, 한 곳을 바꾸기 위해 다른 곳까지 흔들립니다.
라이트스택은 SK broadband CDN 모니터링(Kafka + ELK), KISTI 의 HPC · GPU 기반 ML 학습 플랫폼(EDISON), 통계교육원의 Virtual Learning Environment 등 — 데이터 플랫폼의 모든 영역을 직접 구축해 본 경험을 가지고 있습니다.
자체 제품(ElasticUpload 로 수집, JMeter 기반 부하 검증)과 결합해, 처음부터 운영까지 한 자리에서 책임지는 솔루션을 인도합니다.
데이터 플랫폼의 모든 축을 한 자리에서
실시간 수집
Apache Kafka 기반의 실시간 로그·이벤트 수집. 수백 대 서버에서 들어오는 데이터를 무손실로 받아내고 후속 시스템에 전달합니다.
저장 · 검색
ElasticSearch · PostgreSQL · InfluxDB 등 워크로드에 맞는 저장소를 조합. 검색·집계·시계열 모두 동일한 플랫폼 위에서.
처리 · ML 워크로드
Hadoop · Spark · Hive 기반 빅데이터 처리부터 HPC · GPU 클러스터에서 동작하는 ML 학습까지. Kubernetes·Slurm 으로 자원 자동화.
시각화 · 모니터링
Grafana · Kibana 로 시계열·검색·자원 사용을 한 화면에. OpenTelemetry 표준 위에서 어떤 시스템과도 연결됩니다.
부하·안정성 검증
JMeter 기반 부하 시나리오로 수집·집계 파이프라인의 무손실·정확성을 검증. 운영 전에 한계를 파악합니다.
멀티 클라우드
On-premise, AWS, Naver Cloud, Kakao Cloud 등 환경에 구애받지 않습니다. 환경별 특성에 맞춰 아키텍처를 조정합니다.
이 솔루션을 구성하는 요소
사례 연구
지능형 R&D 플랫폼 (EDISON) 고도화
KISTI 의 HPC 기반 ML 학습 플랫폼은 GPU 를 이용한 ML 학습 모델 실행과 같은 고도의 기술 인프라를 자동화된 방식으로 제공합니다.
HPCKubernetesSlurmNVIDIA GPU ClusterJupyterHub
Virtual Learning Environment
통계교육원의 Virtual Machine 기반의 빅데이터 학습 환경은 개별 학습자 환경을 Provisioning 해서 맞춤형 학습 환경을 자동화된 방식으로 제공합니다.
HadoopHiveSparkR · PythonJupyter Notebook
함께한 고객
-
SK 주식회사 AX