[Visualization] BI솔루션과 관리

Table of Contents

1. Introduction
2. BI 시스템 아키텍처
3. 유지보수를 위한 산출물의 필요성
4. 데이터 흐름 정의서와 데이터 소스 정의서
5. Reference

 

Introduction

 매일 매시간마다 쏟아지는 정보 속에서 가장 중요한 정보 그리고 나에게 필요한 정보를 찾아내서 소비하는 것이 일상이 되어버렸다. 데이터 분석이 과거에 비해 많이 소개되었고 다양한 전공을 가진 사람들이 데이터 과학자가 되기 위한 과정을 준비하고 있다. 어떤 패턴이 보이는지 알 수 없는 이 수 많은 데이터로부터 유의미한 정보를 뽑기 위해 데이터 엔지니어와 데이터 분석가 그리고 머신러닝/딥러닝 엔지니어 등 다양한 파트의 데이터 과학자들은 오늘도 연구과 개발에 매진을 하고 있다. 이러한 과정을 돕기 위한 탐색적 데이터 분석 및 시각화의 중요성을 날로 늘어나고 있다.

 데이터 시각화의 중요성은 지난 게시글인 [Visualization] 데이터 시각화(Data Visualization)에서 소개하였으며, 이를 구현하기 위해 Business Intelligence(BI) 솔루션을 많이 도입하고 있는 추세이다. Business Intelligence는 기업 내 데이터로부터 인사이트를 얻고 의사 결정을 하는 과정으로 지난 게시글 중 하나인 [Visualization] BI(Business Intelligence)란?에서 소개하였다.

<그림 1> 본 블로그에 게시한 BI와 데이터 시각화 소개 글

BI 시스템 아키텍처

 <그림 2>는 BI 시스템의 아키텍처로 원천 소스를 수집하여 Data Warehouse에 원하는 형태로 변형하고 적재하고 BI 솔루션에 활용할 수 있는 형태로 가공하여 데이터 마트를 구축하게 된다. 중앙에서 공통 관리하는 경우에는 데이터 마트에 직접 연동을 하여 관리하고, 개인의 보고용으로 활용할 경우에는 DB접근의 제약에 따라 제한적으로 활용하거나 로컬에 위치한 Excel 또는 txt 파일을 읽어서 시각화를 하기도 한다.

<그림 2> Business Intelligence 시스템 아키텍처

 

유지보수를 위한 산출물의 필요성

 BI 시스템 도입 후 태블로를 이용하여 시각화를 할 경우 원천데이터에서부터 화면에 나타나기까지 <그림 2>의 아키텍처와 같이 여러 단계를 거친다. 이러한 과정에서 데이터로부터 유의미한 정보를 표현하기까지 과정을 살펴보자.

•  가장 먼저, 원천 테이블에서 가공하여 Data Mart를 생성한다. 원천 테이블에 있는 모든 정보가 시각화에 필요한 것은 아니고 대용량 데이터를 한번에 처리하는 것이도 이슈가 있기 때문에 필요한 정보를 모와 놓은 Data Mart가 필요하다.
•  Data Mart가 완성되었다면, 태블로에 연동하여 각 각의 시트를 구성하고 시트들 모와 하나의 대시보드를 구성하게 된다. 시트를 구성하는 과정에서 태블로 내에서 다양한 그래프를 표현하기 위해 생성한 계산된 식들이 많이 포함되어 있을 것이다.
•  원천 테이블, Data Mart, 시각화의 3단계에서 각 각 적용한 계산식이 존재할 것이다. 따라서, 이 과정에 대한 전반적인 내용을 정리한 데이터 흐름 정의서 작성이 필요하고, 이를 상시 업데이트 할 필요가 있다.

 Data Mart에서 태블로에 인터페이스 할 경우 실시간/추출을 선택할 수 있다. 실시간으로 가져올 경우 화면에서 액션을 취하거나 데이터를 조회할 경우 Data Mart가 존재하는 DB에 계속 Select를 하여 실시간으로 변화하는 정보를 확인할 수 있다. 단, 해당 방식은 DB에 부하를 줄 수 있다.

 일반적인 Data Mart와 인터페이스를 할 경우 추출을 사용하는데, 이 때 추출된 데이터가 태블로 데이터 소스이다. 이를 서버에 게시한다면, 주기적인 시간에 맞춰서 업데이트를 할 수 있다. 태블로 데이터 소스에는 다양한 계산식부터 시작해서 폴더별로 나누어 관리할 수 있으며, 원천 데이터와 사용시 주의해야 할 경우도 존재한다. 이를 정리한 산출물이 데이터 소스 정의서이다.

 현재, 우리 서버에 배포한 태블로 시각화가 태블로 데이터 소스를 참조하고 있다면, 가장 먼저 데이터 소스 정의서를 구성해 놓는 것이 필요하다. 그 다음에는 데이터 흐름 정의서를 구성하고, 어디에서 데이터의 정합성이 문제가 있는지 같은 지표를 어떤 화면과 어떤 화면이 어떤 관점에서 표현하여 집계 결과가 다른지 쉽게 파악할 수 있다.

 

데이터 흐름 정의서와 데이터 소스 정의서

 BI시스템 도입 후 필요한 산출물인 데이터 흐름 정의서와 데이터 소스 정의서에 대한 중요성은 다시 한번 강조하고 싶을 정도로 중요하다. 시각화로 표현하는 과정에서 다양한 플로우를 거치기 때문에 화면에 보이는 숫자의 오류를 찾기는 쉽지 않다. 현재, BI시스템을 운용하고 있으나 화면에 문제가 있을 경우에는 다음의 템플릿을 활용하여 정리하는 것이 한줄 한줄 찾아서 DB 조회하는 것보다 추천해 줄 수 있는 방식이다.

<그림 3> 데이터 흐름 정의서 템플릿

 

<그림 3>은 데이터 흐름 정의서 템플릿으로 회색의 제목은 태블로에서 나타낸 시각화 대시보드를 상세화하여 분류한 영역으로 필요에 따라 칼럼 수는 조정 가능하다. 본 데이터 흐름 정의서는 대시보드의 화면 Flow까지 고려한 템플릿으로 보면 좋다.

항목	설명	예시
Menu1	시각화 메뉴 이름	ex) My Dashboard
Menu2	시각화 상세 메뉴 이름	ex) Sample Dashboard 01
Report	시각화 리포트 이름	ex) KPI 대시보드
Area	시각화 레이아웃의 영역	ex) 첫 번째 줄
Section	레이아웃에 배치한 시트 영역	ex) 상단
Measure	시트를 의미하는 대표 이름	ex) KPI 지표 01
Element	시트에 표현한 상세 지표	ex) OO의 수

 

 파란색의 제목은 대시보드를 표현하기 위한 태블로 분석 기준값으로 해당 값을 생성 또는 활용하여 시트에 표현하고 시트를 다양한 레이아웃과 아이콘을 활용하여 하나의 대시보드를 구성하게 된다.

항목	설명	예시
Logic	시트에 표현한 지표의 계산식	sum([KPI01])
Module	ODS Module 분류 이름
Sub Module	ODS Module 상세 분류 이름
Aggregate Level	집계 레벨
Base Date	기준일
Etc	비고

 보라색의 제목은 Data Mart를 구축하는 과정에서 발생하는 정보를 표현하는 것으로, 원천 데이터 소스(ODS) 간의 관계를 표현한다. 마지막으로 주황색은 원천 데이터 소스 정보를 나타낸다.

항목	설명	예시
BI Mart	BI를 위한 데이터 마트 테이블 이름	ex) KPI_Table
Mart Logic	ODS에서 BI Mart를 집계하기 위한 로직
Module ODS	원천 데이터 소스
ODS Logic	원천 데이터 소스를 집계하기 위한 로직
Module Lagacy Table	레거시 테이블

 

 <그림 4>는 태블로 데이터 소스를 서버에 배포했을 때 데이터 마트의 다양한 데이터를 불필요함 없이 활용하고 데이터 소스를 쉽게 수정하기 위해 필요한 산출물이다. 태블로 데이터 소스를 적극적으로 활용할 경우 최신화하여 정리하면, 계산식의 이슈들을 점검 할 수 있다.

<그림 4> 데이터 소스 정의서 템플릿

Reference

Tableau, "Tableau", www.tableau.com/ko-kr

Sandra Durcevic, "The Role of Data Warehousing In Your Business Intelligence Architecture", www.datapine.com/blog/data-warehousing-and-business-intelligence-architecture/#:~:text=What%20Is%20BI%20Architecture%3F,visualization%2C%20reporting%2C%20and%20analysis.