Realtime Pipeline
스트리밍 데이터를 수집, 처리, 분석할 수 있는 실시간 Workflow Designer입니다.
-
CEP 엔진을 사용하여 실시간 이벤트 탐지
오픈소스 CEP 엔진인 Drools Fusion을 사용하며, 사용자가 정의한 Rule 실시간 반영
-
Spark SQL을 사용하여 실시간 데이터 분석
Time Window 내에서 SQL로 쉽게 데이터를 활용 가능하며, Lookup 테이블을 활용하여 데이터 실시간 매핑 지원
및 처리 -
데이터의 실시간
CSV, JSON 또는 서버 로그 등의 데이터를 파싱하여 구조화하고, 다양한 필터링 컴포넌트 제공하며, 데이터의 분기 처리 및 멀티 데이터 소스 지원
처리 기능
-
다양한 저장소 지원
Kafka, Phoenix, Elasticsearch, RDB 등에 실시간 처리된 데이터를 저장
제품소개
Realtime Pipeline
Realtime Pipeline 은 Drag & Drop 방식의 Workflow UI/UX를 바탕으로 손쉽게 데이터 흐름을 정의하여 스트리밍 데이터를 더욱 쉽고 빠르게 관리할 수 있는 서비스입니다. 수많은 경로를 통해 수집되는 데이터를 즉시 가공 및 분석하는 병렬 실시간 분석 환경을 제공합니다.
Why Realtime Pipeline?
- 다양한 실시간 데이터 처리
- Flume 기반의 수집 처리, 소스와 타겟을 설정/제어할 수 있으며, Kafka Queue를 활용한 스트림 관리를 지원합니다.
-
- 편리한 실시간 데이터 흐름 설계
- Drag & Drop 방식의 데이터 처리 흐름 작성 및 SQL을 활용한 실시간 스트림 분석이 가능합니다.
-
- Rule 기반 복합 이벤트 처리
- Drools Rule 기반의 이벤트 룰 설정을 지원하며, Rule에 따른 알람 활용이 가능합니다.
-
활용사례
Use Case
-
침입탐지 / 모니터링
로그 데이터의 CEP엔진을 통한 이벤트 처리를 통해 침입 탐지/모니터링 수행
-
Fraud Detection
사용자의 거래 패턴과 다른 비정상적인 거래 탐지 및 차단
-
실시간 영상 분석
영상 얼굴 인식 분석 결과를 활용한 광고 및 마케팅 활용
-
실시간 추천 서비스
고객의 이용내역 및 추천정보를 연계한 실시간 추천 서비스
-
설비 이상 감지
설비에 대한 모니터링 및 이상 징후 감지
관련제품 및 리소스
-
Analytics
- Cloud Search ELK Stack을 Cloud 기반으로 구성 및 배포합니다.
-
Analytics
- Batch Pipeline 다양한 Data Source를 처리할 수 있는 Batch 방식의 Workflow Designer입니다.
-
Analytics
- DHP Cloud 및 On-premise 환경의 제약 없이 쉽고 빠르게 하둡 서비스를 배포합니다.
