주메뉴 바로가기 본문 바로가기

확인

콘솔 이동 시 로그인이 필요합니다.

로그인하시겠습니까?

아니요

닫기

확인

신용카드 등록이 필요합니다.

신용카드 등록 페이지로 이동하시겠습니까?

아니요

닫기

Batch Pipeline

다양한 데이터 소스를 처리할 수 있는 배치 방식의 Workflow Designer입니다.

  • 워크플로우
    저장 및 관리

    Drag & Drop 방식의 UI/UX를 바탕으로, 손쉽게 Oozie 기반의 워크플로우 작성 가능
  • 컴포넌트 제공 및 스케줄 관리

    다양한 하둡 에코 작업/시스템 작업을 컴포넌트 형태로 제공하여 쉽게 설정이 가능하며 시작 시각과 종료시각, 스케줄 주기 설정이 용이
  • 변수처리 지원
     

    스케줄 실행시간(데이터셋) 등을 활용하여 다양한 동적 변수 지정 가능
  • 모니터링 제공
     

    배치 잡(Job)별 상태 및 실행 정보를 직관적인 UI로 확인 가능

제품소개

Batch Pipeline

고성능 ETL Batch Pipeline은 Hadoop MapReduce보다 5배 빠른 고유 Spark 코드를 생성하여 고성능 처리를 제공합니다.
또한, 고유 Spark 코드를 생성하므로 추가 설치할 필요가 없고 불필요한 관리 비용과 처리 오버 헤드가 발생하지 않습니다. 기존 데이터 Silo를 연결하고 새로운 데이터 소스를 추가하면 데이터 분석에 새로운 기회를 부여할 수 있습니다.

Why Batch Pipeline?

고성능 처리를 통한 효율적인 서비스
고유 Spark 코드를 생성하여 고성능 처리가 가능하며, 불필요한 관리 비용 및 처리 오버 헤드가 발생하지 않습니다.
통합 모니터링
Batch Pipeline은 데이터의 흐름에 따른 통합 모니터링 뷰를 제공합니다.
이러한 풍부한 모니터링은 진행 상태를 파악하고 문제를 식별할 수 있으며, 자세한 보고를 통해 사용 현황을 추적할 수 있습니다.
배치 기반 워크플로우
하둡 기반의 배치 작업을 관리하는 웹 기반의 워크플로우 및 스케줄 모델링 도구를 제공합니다.
편리한 시각적 UI 및 Drag & Drop 방식을 사용함으로써 복잡한 배치 파이프라인을 매우 간편하게 만들 수 있습니다.

활용사례

Use Case

  • 데이터 소스 통합

    • 다양하고 이질적인 데이터 소스 통합 ETL
    • Object Storage, 관계형 데이터베이스, Hadoop, Cloud Search
    • 데이터 입출력, 결합 및 변환
  • Multi Cluster 활용

    • On-Premise와 DHP 결합
    • DHP를 개발환경으로 활용하여 개발된 애플리케이션을 On-Premise 배포
    • 비용 절감 및 장애 예방
  • 간단한 Data Mart 구축

    • Object Storage를 DW로 활용
    • 작업이 종료되면 결과를 DBaaS로 전송하고 클러스터 삭제
  • 편리하고 정기적인 Notebook 보고서 생성

    • Jupyter Notebook 연동
    • 주기적 실행 및 Notification 발송
  • 간편한 장애 감지 서비스

    • Cloud Search에서 Built-in 서비스로 System Log를 Collect
    • 임계치를 벗어날 경우 사용자 Notification 발송

관련제품 및 리소스

  • Analytics

    • Data Insight 시각화(Chart/Dashboard)를 통한 데이터 분석 서비스입니다.
  • Analytics

    • Cloud Search ELK Stack을 Cloud 기반으로 구성 및 배포합니다.
  • Analytics

    • Realtime Pipeline Streaming 기반 데이터를 수집, 처리, 분석할 수 있는 실시간 Workflow Designer입니다.
온라인 상담/문의
상담/문의 하기
상담 예약
상담 예약하기
전화상담
02-6400-2222

quick 메뉴