성공스토리

빅데이터 환경에서의 효과적인 DW시스템 증설



초 저비용으로 기존 data warehouse의 용량을 증설하고 성능을 개선하기 위한 획기적인 대안

Customer Profile
고객사는 3천여만 명의 가입자를 보유한 한국의 tier-1 모바일 서비스 사업자로서, 2G CDMA를 비롯하여 CDMA 2000 1X, EV-DO, WCDMA, HSDPA 네트워크 등, 이동통신 네트워크 기술의 진화에 능동적으로 대응하며 전국단위의 모바일 서비스를 제공하고 있습니다. 또한, 2011년에 4G LTE 네트워크를 상용화한 이후, 조기에 전국망 서비스를 제공함으로써 모바일 브로드밴드 서비스를 정착시키는데 선도적인 역할을 하고 있습니다.
Business Challenge
고객사는 기존에 해외 기업으로부터 도입한 고가의 data warehouse 솔루션을 기반으로 과금 분석 시스템을 개발하여 운용하고 있었습니다. 그러나, 3G 및 4G LTE 가입자의 증가와 더불어, 가입자의 폭발적인 데이터 서비스 이용으로 인하여 도입 초기에 설계된 처리용량을 초과하는 데이터가 유입되었고, 이로 인하여 시스템의 안정성과 가용성이 떨어지게 되어 이른 시일 내에 고비용의 시스템 추가 증설이 필요한 상황이었습니다.
  • 고가 data warehouse 초기도입 설계 처리용량을 초과하는 데이터 유입 : 650억 → 1000억 record/day
    • - 데이터 조회 성능 부족 → 가입자 단위 실시간 조회 불가
    • - Mart 통계 생성을 위한 Exadata 과부하 → 80~90% CPU 상시부하
    • - 데이터 3개월 저장 및 검색을 위한 자원 부족 : 5조 → 9조 record/3Month
  • 기존 data warehouse 추가증설 필요 → 고비용 발생
Mobigen Solution
고객사는 고비용으로 기존 시스템의 용량을 증설하는 대신, 모비젠이 자체 개발하여 충분히 검증된 대용량 데이터 처리 및 분석용 데이터베이스 솔루션인 IRIS를 도입함으로써, 비용을 획기적으로 절감하였습니다. 또한, 기존 과금 분석 시스템에서 수행하던 원시데이터의 저장 및 검색과 가입자 단위 조회 및 분석 서비스를 IRIS로 이관하여 고속으로 처리함으로써 시스템의 성능을 극대화하는 효과도 얻게 되었습니다. 본 프로젝트에서 IRIS가 수행하는 주요 업무는 다음과 같습니다.
  • 고객사의 내부 조직별 시스템들은 물론, 백신업체, 관제업체, ISP 등 약 100여개의 보안관련 외부 시스템으로 부터 데이터 수집
  • 일일 약 600억 레코드의 로그 데이터의 압축 및 이중화 저장
  • 데이터의 실시간 색인 및 요약 테이블 생성
  • 3개월 분량(약 5조 레코드, 1.5PB 분량) 데이터의 실시간 검색
Business Value
본 프로젝트는 모비젠의 IRIS를 도입함으로써 수개월 내에 저비용으로 필요한 용량을 증설하는 한편, 기존 시스템과 IRIS간에 효과적인 역할 분담을 통하여 기존 시스템의 운용 효율성도 함께 개선하는 성공적인 프로젝트였습니다.
용량증설 Transactions/Day 650억 record → 1,000억 record
전체 record 저장용량 5조 record → 9조 record
전체 스토리지 저장 용량 2 Petabyte → 4 Petabyte (Oracle 2 PB + IRIS 2 PB)
성능향상 가입자단위조회 성능개선 167 sec → 1.9 sec (87배 성능개선)
연관조회 성능개선 208 sec → 1.0 sec (208배 성능개선)
전체 시스템 부하 기존 시스템 부하율 90% → 40% 감소, IRIS 50% 평균부하
비용절감 솔루션 도입비용 외산솔루션 증설비용 대비 70% 절감
개발 비용 ANIS SQL/JDBC/RDBMS 지원으로 오픈소스 개발대비 50% 절감