Graphio Data

Graphio ETL (IRIS ETL)

다양한 종류의 외부 시스템으로부터 정형·반정형·비정형 데이터를 수집·추출하여 변형·적재하는 Graphio의 ETL 솔루션

OVERVIEW

정형·반정형·비정형 데이터를 수집·전처리·적재

Graphio ETL은 정형, 반정형, 비정형 데이터를 수집, GUI기반의 전처리, 빅데이터 저장소로 고속 로딩 등 ETL(Extract, Transform and Load)의 주요 기능을 제공합니다.

Graphio ETL 개념도 — Agent·Syslog·TCP/UDP·ODBC/JDBC·Packet·MQ·API 등 다양한 외부 시스템으로부터 Log·CSV·RDBMS·HDFS·NoSQL·Linked Open Data·Sensor 등 정형·반정형·비정형 데이터를 수집·추출(Extraction)하고 Parsing으로 변환(Transform)하여 빅데이터 저장소에 고속 적재(Load)하는 ETL Management Framework
ETL Management Framework — 수집·추출 / 변환 / 적재

다양한 소스 수집

정형·반정형·비정형 데이터를 여러 외부 시스템에서 수집·추출

GUI 기반 전처리

GUI 환경에서 데이터 변환·가공 규칙을 설계·조합

빅데이터 고속 적재

빅데이터 저장소(IRIS·Hadoop 등)로 대용량 데이터를 고속 로딩

유연한 확장·장애복구

유연한 확장과 신속한 장애복구가 가능한 프레임워크 구조

ARCHITECTURE

Graphio ETL Architecture

Graphio ETL 아키텍처 — File System·FTP·HDFS·Database·Socket·Kafka 등 Data Source를 CLI/WEB·API-Server·Collector·User Defined Transform·Loader·Event Flow·Common Component·ETL Library로 처리하여 IRIS·RDBMS·HDFS·Hive 등 Storage와 Status Table에 적재하는 구성도
Graphio ETL 아키텍처

데이터 처리 프로세스의 유연한 확장과 신속한 장애복구 대응이 가능한 프레임 워크 구조로 구축하였습니다.

KEY FEATURES

주요 제품 기능

(1) EDA 기반 안정적 처리 프레임워크 제공

  • Graphio ETL은 이벤트 정의 구조의 ETL 프로세스로 각각의 프로세스 모듈인 수집/변환/적재 프로세스의 독립적 이벤트 관리가 가능하며, 프로세스의 실시간 모니터링 및 시작, 종료, 재시작을 통제 합니다.
  • 프로세스 노드의 비정상 종료시 Event Flow가 자동 재실행하여, 종료되기 전 I/O를 복구하여 재 실행된 프로세스 노드로 재전달하여 프로세스 장애에 대응합니다.
Event Flow I/O 처리 흐름도 — Target Data를 Collector·User Defined Transform·Loader가 순차 처리하고 API-Server로 상태정보를 전달하며 Event Flow가 Job을 통제하여 Data Store로 적재하는 흐름
Event Flow I/O 처리 흐름도

(2) ETL 프로세스의 Scale-Out 분산 확장 기능

Graphio ETL은 시스템 커널 레벨의 표준 스트림 데이터 신호 처리를 수행하며, MQ (Message Queue) 기반의 ETL 프로세스 이벤트 관리를 통해 프로세스의 출력을 다른 여러 프로세스로 분산 처리 가능하여 쉽고 간편한 ETL 프로세스의 Scale-Out 분산 확장 기능을 제공합니다.

ETL 프로세스 Scale-Out 확장 처리 개념도 — 단일 Transform 처리 흐름을 다수의 User Defined Transform으로 분산하여 병렬 처리하는 Scale-Out 구성
ETL 프로세스 Scale-Out 확장 처리 개념도

(3) ETL 프로세스 이벤트 확장 구성 모델

Graphio ETL서버의 프로세스 I/O를 관리하여 부하 분산 및 데이터 중복 제어를 위한 Flow Control 기반 분산 처리를 제공합니다.

Sharing Model은 큐 메시지를 중복 없이 다음 프로세스로 전달하며, 같은 큐 내에서 입/출력 순서를 보장하고, 서로 다른 큐 내에서의 입/출력 순서는 처리 순서에 의해 결정되고, 주로 여러 이벤트를 동일한 여러 작업으로 분산하여 수행하거나 자동 절체(Fail Over)로 수행할 때 사용됩니다.

Sharing Mode 이벤트 처리 — 쉐어링 1:N 모델과 N:N 모델에서 Collector의 Event Flow 큐 메시지를 중복 없이 여러 Parser로 분산 전달하는 구성
Sharing Mode 이벤트 처리

Broadcasting Model은 큐 메시지(처리 이벤트)를 연결된 모든 노드(프로세스)로 중복되어 전달하며, 같은 큐 내에서 입/출력 순서를 보장하고, Sharing 모드와 Broadcast 모드를 혼합하여 사용 가능하며, 주로 하나의 이벤트를 종류가 다른 여러 작업으로 나누어 병렬 수행할 때 사용됩니다.

Broadcasting Mode 이벤트 처리 — 브로드캐스트 1:N 모델과 N:N 모델에서 Parser의 Event Flow 큐 메시지를 IRIS Loader·HDFS Loader 등 연결된 모든 노드로 중복 전달하는 구성
Broadcasting Mode 이벤트 처리

(4) ETL Job 모니터링

Graphio ETL은 GUI 환경에서의 ETL 프로세스 관리 및 데이터 변환(가공, 처리)를 위한 개발 환경을 제공합니다. ETL 프로세스의 Job을 설계하고, 실행파일 빌드 가능한 IDE 환경과 ETL 작업 수행을 위한 프로세스 단위 컴포넌트 개발 및 조합을 지원하며, 다양한 컴포넌트를 지원하고, 사용자 정의 함수 및 정규표현을 지원한다. 장애 및 오류 발생 시 재처리 프로세스 설계 지원 및 GUI 환경에서 ETL Job 테스트 및 디버깅을 제공합니다.

ETL Job 생성 IDE 화면 — 컴포넌트 조합으로 ETL Job을 설계하고 테스트·빌드하는 GUI 개발 환경
ETL Job 생성 / 테스트 / 빌드 IDE 화면
ETL 데이터 변환 작업 화면 — 입력 스키마와 출력 스키마를 매핑하여 데이터 변환 규칙을 정의하는 화면
ETL 데이터 변환 작업 화면

(5) ETL 처리 전 과정의 상태 확인 및 이력 정보 관리 기술

  • Collector별 데이터 적재 상태 확인하기 위한 적재 요청 및 완료 레코드 수 확인, 수집기 별 진행률, 적재 실패 알람 정보를 표기 합니다. 과거이력 조회 기능을 통해 기간별 ETL 처리 결과 이력 조회 및 특정 수집기의 상세정보 확인 할 수 있습니다.
  • ETL 처리 상태 트렌드 모니터링 기능을 통해 시계열 차트로 적재상태 정보 제공 및 요청 건에 대한 처리 비율 확인 기능을 제공하며, 시스템 레벨 모니터링 기능을 통해 모든 프로세스의 상태 정보, 수집 파일 목록, 수집 이력 및 경로, 수집 파일 상세 정보, ETL 프로세스의 이벤트 입출력 내역, 시스템 로그 관리 기능을 제공합니다.
Graphio ETL 데이터 수집 상태 모니터링 화면 — Collector별 적재 요청·완료 건수, 처리율, 적재 실패 알람, Error Rate Trend Graph를 제공하는 대시보드
Graphio ETL 데이터 수집 상태 모니터링 화면 예시

(6) 관리 및 유지보수

  • Graphio ETL은 관리 포인트를 세분화하여 분단위부터 주단위까지의 유연한 설정을 통한 백업 및 삭제 관리를 지원합니다.
  • 데이터 백업은 Graphio ETL 상태 DB를 HA호스트에 백업 후 ETL 장애시 상태를 회복 할 수 있도록 합니다.
  • 데이터 삭제는 주기적 수집/전처리/적재 과정에서 발생되는 임시 파일 삭제 기능 및 반복적 적재 작업에 따른 ETL Status DB크기 증가 방지를 위한 삭제를 제공합니다.
Graphio ETL 관리화면 예시 — 트래픽 처리현황 상세, 수집·처리 건수와 성공률, 처리 트렌드 시계열 차트
Graphio ETL 관리화면 예시 – 트래픽 처리현황 상세

GET STARTED

도입을 검토하고 계신가요?

모비젠 전문가가 귀사의 환경에 맞는 적용 방안을 함께 설계해 드립니다.

도입 문의하기

자주 묻는 질문

Graphio ETL은 무엇인가요?

Graphio ETL은 정형, 반정형, 비정형 데이터를 수집하고 GUI 기반으로 전처리하여 빅데이터 저장소에 고속 적재하는 ETL(Extract, Transform and Load) 솔루션입니다. 다양한 외부 시스템으로부터 데이터를 수집·추출하여 변환하고, IRIS·Hadoop 등 빅데이터 저장소로 대용량 데이터를 고속 로딩합니다.

Graphio ETL은 어떤 주요 기능을 제공하나요?

EDA(Event Driven Architecture) 기반의 안정적 처리 프레임워크, MQ 기반 ETL 프로세스의 Scale-Out 분산 확장, Sharing·Broadcasting 이벤트 확장 구성 모델을 제공합니다. 또한 GUI 기반 ETL Job 설계·테스트·디버깅 IDE 환경과 ETL 처리 전 과정의 상태 확인 및 이력 관리, 분단위부터 주단위까지의 백업·삭제 관리 기능을 제공합니다.

Graphio ETL은 프로세스 장애에 어떻게 대응하나요?

Graphio ETL은 수집·변환·적재 프로세스를 독립적으로 이벤트 관리하며, 프로세스의 실시간 모니터링과 시작·종료·재시작을 통제합니다. 프로세스 노드가 비정상 종료되면 Event Flow가 자동으로 재실행하고, 종료 전 I/O를 복구하여 재실행된 프로세스 노드로 재전달함으로써 프로세스 장애에 대응합니다.

Graphio ETL의 아키텍처는 어떤 이점이 있나요?

Graphio ETL은 데이터 처리 프로세스의 유연한 확장과 신속한 장애복구 대응이 가능한 프레임워크 구조로 구축되었습니다. MQ 기반 이벤트 관리를 통해 프로세스 출력을 여러 프로세스로 분산 처리하여 쉽고 간편한 Scale-Out 분산 확장이 가능합니다.