주메뉴 바로가기 본문 바로가기

알림

콘솔 이동 시 로그인이 필요합니다.

로그인하시겠습니까?

아니요

닫기

주문 불가 알림

주문권한이 없습니다.

콘솔에 접근할 수 없는 계정입니다.

확인

닫기

알림

신용카드 등록이 필요합니다.

신용카드 등록 페이지로 이동하시겠습니까?

아니요

닫기

Cloud Z 홍보센터

Cloud Z 뉴스 상세
Cloud Z 블로그데이터 분석 플랫폼의 기준을 제시하는 AccuInsight+ 등록일 2019-04-01 | 조회수 314
데이터 분석, 인류의 오래된 욕구

2차 세계 대전, 영국의 런던 하늘은 독일군 폭격기로 뒤덮이는 날이 많았죠. 독일군 폭격으로 피해는 늘어갔지만, 뾰족한 대책은 없었습니다. 폭격기가 사정권 안에 있는 동안 폭격기가 움직이려는 위치를 계산하고 여기에 맞춰 빠르게 대공포를 이동해 사격할 수 있는 방법이 없었기 때문이죠. 이에 영국과 미국 과학자들이 팀을 꾸렸고 전투기 경로에 대한 통계적 예측치와 함께 레이더 시스템이 보내주는 추적 데이터를 사용해 미사일의 탄도를 컴퓨터로 계산하고 대공포에 자동 입력되는 시스템을 만들면 정확한 목표물 겨냥과 사격이 가능하다는 사실을 발견합니다.

대공포 시스템은 다음 요소들로 설계되었죠: 첫째, 대공포 시스템 중심에는 빠른 계산기, 즉 컴퓨터가 있습니다. 둘째는 대외 환경인데, 실제 폭격기를 감시하고 관련된 중요 데이터를 컴퓨터에 전달해주는 모니터링 및 감지 시스템 (대공포의 경우에는 레이더)입니다. 셋째는 대공포가 최대한 스스로 사격을 하게 하는 통신 체계, 마지막으로 컴퓨터가 오류를 바로 잡고 환경 변화를 반영해서 계산 방식 조정을 가능케 하는 피드백 체계입니다. 전쟁의 결과는 여러분도 알고 있는 데로 입니다. 전쟁이 끝나고 이 기술은 포드 자동차, GE 같은 기업들로 넘어가서 자동화 생산 기술 및 시스템 발전에 큰 기여를 합니다.  

데이터를 이용해 문제를 해결하려는 노력이 오래전부터 있었다는 것을 알 수 있는 일화이죠. 시간과 경험이 축적되면서 데이터를 활용하려는 접근은 많은 조직의 중요 전략이 되었습니다. 지난 가을 진행된 SK DNA 2018 행사의 사례 발표에 섰던 SK하이닉스 이석희 사업 총괄은 “데이터는 21세기의 반도체!” 라는 말로 많은 참석자의 공감을 이끌어냈었죠. 하나의 반도체가 완성되기 위해서는 8대 공정을 거쳐야 한다고 하죠. 데이터도 일정한 작업을 거쳐야만 보석으로 탈바꿈합니다.

인류가 데이터 분석의 가치는 알았지만, 기대만큼 확산되지 못한 이유는 관련 기술의 부족, 상호 연계성 미비 및 높은 비용 구조 그리고 전문 인력 부족 등을 꼽을 수 있습니다. 그래서 SK C&C가 준비한 서비스가 AccuInsight+ (어큐인사이트)입니다. 데이터 분석에 필요한 데이터 수집, 처리, 분석 및 시각화 그리고 전문 기술지원까지 통합 제공하는 서비스죠. 데이터를 기업이 원하는 보석으로 변환시켜주는 AccuInsight+ 서비스의 구성은 다음과 같습니다.



그림) AccuInsight+ 구성



데이터 분석 플랫폼의 기준을 제시하는 AccuInsight+

AccuInsight+의 큰 매력은 온-프레미스와 클라우드 플랫폼 방식 모두를 지원한다는 점입니다. 클라우드 보안이 충분히 신뢰할 수 있는 수준까지 도달했고 계속 개선되고 있지만 법적 제한 및 규제, 회사 정책 그리고 업무 특성 등의 이유로 온-프레미스 환경에서 데이터를 운영해야 하는 기업도 많습니다. AccuInsight+는 이런 상황을 고려해 클라우드와 온-프레미스 두 방식 모두를 지원하는 bi-modal 전략을 선택했습니다. 

비즈니스 인사이트를 얻기 위해 필요한 데이터 종류는 다양하죠. 그리고 그 데이터의 저장 위치와 연동 방식도 다 다릅니다. 데이터 분석으로 의미 있는 결과를 도출하려면 다양한 데이터를 쉽고 빠르게 연결할 수 있는 환경 제공이 중요한 이유입니다. AccuInsight+는 Data API 레이어를 통해 쉽고 빠른 데이터 연계를 보장하기 때문에, 데이터 연계에 소요되는 시간과 비용을 제거하면서 데이터 분석의 정확도는 높일 수 있습니다. 이것이 AccuInsigth+의 또 다른 매력입니다.

AccuInsight+는 SK의 핵심 전략인 Digital Transformation (DT)플랫폼 패밀리 서비스입니다. 퍼블릭, 프라이빗과 하이브리드 클라우드를 모두 지원하는 인프라를 기반으로 인공지능 서비스 플랫폼인 Aibril, 클라우드 플랫폼 Cloud Z과 블록체인 플랫폼을 아우르고 있습니다. AccuInsight+는 DT플랫폼이 가진 서비스 안정성, 확장성 및 가용성을 그대로 가져 가면서 그리고 연계 서비스의 손쉬운 활용으로 데이터 분석 플랫폼의 새로운 기준을 제시하고 있습니다.



그림) SK DT플랫폼 구성


AccuInsight+ 들여다 보기

AccuInisght+는 역할별 4개 영역의 8개 서비스로 이뤄져 있습니다. 데이터 수집부터 시각화 전 과정을 효율적으로 제공하기 위한 똑똑한 선택인 것이죠.  
  • 데이터 분석 및 모델링: Machine Learning (ML)모델러, Deep Learning(DL)모델러
  • 데이터 처리: 배치 파이프라인, 실시간 파이프라인, BigQL
  • 데이터 시각화 및 대시보드: Cloud Search, Data Insight
  • 하둡 배포 플랫폼: DHP (Dynamic Hadoop Platform)
 
1. 데이터 분석 및 모델링
 
온라인 상품 추천을 위한 머신러닝 시스템을 개발한다고 가정해 보죠. 무엇이 필요할까요? 관련 데이터 확보 및 전처리, 상품 추천 기본(혹 고급) ML알고리즘 개발, 자동화/반복 프로세스 설정, 앙상블 모델링 그리고 실행 코드 개발 등이 필요합니다. 문제는 이를 위한 전문 인력 확보, 투자 비용, 실행 속도 및 품질의 확보라는 현실적 과제이죠. AccuInsight+ ML모델러와 DL모델러는 기업이 당면한 이런 현실을 위한 최적의 솔루션입니다.
  • Machine Learning 모델러
AccuInsight+ ML모델러는 데이터 분석가가 머신러닝 모델을 복잡한 코드 개발없이 웹 UI로 손쉽게 만들 수 있는 웹기반 도구입니다. 시간과 장소 제약 없이 몇 분 안에 ML 모델을 구축하고 모든 데이터 원본을 사용할 수 있습니다. 자동 모델링(Auto model)을 통해 빠르게 최적의 결과를 도출할 수 있고 Spark ML 알고리즘을 이용한 대용량 분산 처리를 보장합니다. 이것이 사용자가 원하는 머신러닝 모델 작업의 편리성과 확장성이죠.
  • Deep Learning (DL) 모델러
사용자 환경이나 업무 특성에 따라 클라우드에서 프로그래밍 하거나 AccuInsighth+가 제공하는 Built-in 알고리즘을 이용해 분산 환경의 딥러닝 모델을 손쉽게 구축, 실행 및 배포할 수 있는 서비스입니다. DL모델러를 이용하면 데이터 가공부터 모델 예측에 이르는 딥러닝 분석 라이프 사이클을 통합적으로 운영하고 관리할 수 있기 때문에, 오류 발생과 소요 비용 및 시간을 최소화할 수 있습니다.
 
 
2. 데이터 처리
  • 배치 파이프라인 (Batch pipeline)
Batch Bipeline은 온-프레미스 데이터, 클라우드 컴퓨팅 및 스토리지 서비스 사이에서 오고 가는 대용량 데이터를 안정적으로 처리하고 Job 스케줄링과 모니터링 기능을 제공하는 솔루션입니다. 코딩 작업 없이 Drag & Drop 방식으로 쉽게 Oozie 기반 워크플로우를 설계한 후에 Batch Job을 통해 바로 실행하고 제어할 수 있습니다. Spark 기반의 고급 ETL 기능을 제공하고, ML모델러에서 개발한 모델을 쉽게 운영에 배포하는 등 다양하게 활용 할 수 있습니다. 사용자가 한 눈에 배치 작업별 상태 및 실행 상황을 파악할 수 있는 직관적 대시보드도 제공합니다.
  • 리얼타임 파이프라인 (Realtime pipeline)
Realtime Pipeline은 실시간 고급 분석 엔진인 Spark 기반 스트리밍 파이프라인입니다. 사용자가 원하는 방식으로 실시간 데이터 처리가 가능하고, 분석 결과를 업무 특성에 따라 다양한 저장소에 저장할 수 있는 유연함을 갖고 있습니다. 다양한 소스에서 발생한 이벤트 데이터를 실시간 추출하고 그에 따른 대응 작업을 실행하는 CEP(Complex Event Processing) 엔진인 Drools를 이용해 이벤트를 탐지하고 Spark SQL로 실시간 데이터 분석을 합니다.
  • BigQL
BigQL은 표준 SQL을 사용해 IBM Object Storage에 저장된 데이터를 손쉽게 분석할 수 있는 대화식 검색 서비스로, 지연 시간(latency time)이 짧아서 임시 데이터 분석에 최적이라고 평가되는 오픈소스 분산 SQL 검색 엔진인 Presto를 이용합니다. BigQL 서비스는 클릭 몇 번으로 이용할 수 있고 별도 설정이나 운영이 필요하지 않습니다. 그리고 실행한 검색에 대해서만 비용이 발생하는 치명적(?) 매력을 갖고 있습니다.
 
 
3. 데이터 시각화 및 대시보드
  • Cloud Search
Cloud Search는 ELK Stack의 간편한 구축 및 유지를 보장하는 솔루션입니다. 원하는 시점에 ELK Stack(Elastic Search / Logstash / Kibana )을 배포하여 수집, 저장, 시각화를 위한 인프라와 SW를 바로 이용할 수 있습니다. 데이터 수집을 위한 Beats/Logstash 등의 모듈을 쉽게 배포할 수 있고 Built-in 서비스로 원하는 시나리오의 데이터를 수집/저장/시각화하고 이에 대한 대시보드를 제공합니다. Cloud Search는 Docker 기반 컨텐이너 서비스로 제공되고, 미리 정의된 Stack으로 배포되기 때문에 사용자가 HW 용량 산정에 대한 고민 없이 바로 사용할 수 있습니다. 다양한 형식의 로그를 최소 비용으로 검색/분석/모니터링할 수 있는 방법을 찾는 고객을 위한 맞춤형 서비스입니다.
  • Data Insight
Data Insight는 데이터 분석과 시각화를 쉽고 빠르게 진행하고, 이를 통해 의미 있는 비즈니스 인사이트를 도출하도록 해주는 데이터 분석 서비스입니다. 기업 내/외부 데이터를 활용한 고급 분석이 가능하고 다양한 시각화 및 대시보드를 구성할 수 있습니다. AccuInsight+의 다른 서비스와 마찬가지로 클릭 몇 번으로 다양한 데이터 연결과 고급 분석이 가능하고 모든 브라우저로 작업할 수 있습니다. 분석 결과는 사용자가 원하는 형태로 구성한 대시보드를 통해 세부적으로 제공되어 분석의 효율성을 크게 높여줍니다.

 
4. 하둡 배포 플랫폼
  • Dynamic Hadoop Platform (DHP)
DHP는 클라우드 환경에서 빅데이터 분석 프레임워크인 Apache 하둡을 간단하게 실행할 수 있는 서비스입니다. 사용자는 온-프레미스 형태의 하둡 구성을 위한 컴퓨팅 자원을 추가로 생성하지 않고, DHP에서 제공하는 컨테이너 기반의 하둡 클러스터를 이용해 쉽고 빠르게 분석 작업을 진행할 수 있습니다. 하둡 클러스터는 온-디맨드 방식의 간단한 API 호출 방식으로 이용할 수 있기 때문에 작업 시간도 짧고 전문가 도움 없이도 쉽게 진행할 수 있습니다.


다양한 업무 현장에서 활용되는 AccuInsight+

AccuInsight+가 아직 익숙하지 않다고요? 여러 기업 현장에 먼저 적용하면서 개선하고 서비스 완성도를 높이는데 집중하느라 알리는 작업이 조금 늦었습니다. 하지만, AccuInsight+가 활용되는 다양한 사례를 들으시면 고개를 끄덕이실 겁니다.

반도체 기업의 ‘반도체 양품 불량 판별 모델 생성’, 온라인 쇼핑몰의 ‘상품 추천 시스템’, 자산관리 기업의 ‘부동산 매매가 등의 가격 예측 서비스’, 보험사의 ‘보험심사등급 평가’ 그리고 정부 기관의 ‘실시간 대기오염 지수를 이용한 대기오염 예측’ 등과 같은 많은 분야에서 AccuInsight+ 서비스가 활용되고 있습니다.

데이터 분석을 통해 여러분 조직이 원하는 비즈니스 인사이트와 아이디어를 얻고 싶으신가요?
그렇다면 AccuInsight+를 만나보세요!


참조: https://accuinsight.cloudz.co.kr/#/intro


빅데이터 상담이 필요하신가요?” 
상담 문의 바로가기

목록


quick 메뉴