저장 계층: 웨어하우스와 레이크하우스
Databricks로 대표되는 레이크하우스는 데이터 엔지니어링과 AI 워크로드를 한 저장소에서 다루려는 접근입니다. Google BigQuery는 멀티모달 데이터 분석과 AI를 한 플랫폼으로 묶는 방향을 강조합니다.
- 웨어하우스
- 정형 데이터 비중이 높고 SQL 중심이면 단순합니다.
- 레이크하우스
- 비정형 데이터와 모델 학습이 함께 필요하면 맞습니다.
Cavrosen 데이터 아키텍처
수집에서 배포까지 한 아키텍처로 묶습니다
데이터가 들어오는 입구부터 대시보드와 임베디드 화면까지, Cavrosen 플랫폼이 어떤 계층으로 나뉘고 각 계층이 무엇을 맡는지 확인해 보세요.
Cavrosen 데이터 파이프라인 계층 구성
수집 · 저장 · 모델링 · 시맨틱 · 분석 · 배포
커서를 노드 위로 옮기면 연결선에 신호가 켜집니다
- source 수집
- store 저장
- model 모델링
- semantic 시맨틱
- analyze 분석
- deliver 배포
platform layers
플랫폼은 계층으로 나뉘어 움직입니다
플랫폼 페이지에서 다루는 것은 제품 소개가 아니라 구성 요소입니다. 각 계층이 어떤 도구와 맞물리고 무엇을 책임지는지 순서대로 살펴보세요.
- ingest 수집 계층: 원천이 달라도 입구는 하나
- transform ETL과 ELT, 어느 쪽을 쓰든 기준은 같습니다
- store 저장 계층: 웨어하우스와 레이크하우스
- semantic 시맨틱 레이어: 지표 정의가 흔들리지 않게
- orchestrate 변환과 오케스트레이션
- analyze 분석 계층: 셀프서비스 BI
- deliver 배포 계층: 대시보드와 임베디드
- operate 운영: 모니터링과 비용
- extend 확장: AI 워크로드 얹기
01. ingest & transform
수집 계층: 원천이 달라도 입구는 하나
업무 시스템, 로그, 외부 API, 파일. 데이터가 들어오는 경로는 조직마다 다릅니다. Cavrosen은 배치와 스트리밍을 구분해 수집하고, 원천별 갱신 주기를 메타데이터로 기록합니다. 이 기록이 나중에 장애 원인을 찾는 기준이 됩니다.
batch
업무 시스템·파일처럼 주기성이 뚜렷한 원천을 정해진 시각에 한 번에 가져옵니다.
streaming
로그·이벤트·외부 API처럼 지연이 곧 손실인 원천을 이벤트 단위로 흘려보냅니다.
metadata
원천별 갱신 주기, 담당 팀, 마지막 성공 시각을 함께 기록합니다. 장애가 났을 때 무엇이 늦었는지부터 보이기 때문입니다.
ETL과 ELT, 어느 쪽을 쓰든 기준은 같습니다
변환을 적재 전에 할지 후에 할지는 저장소 성능과 팀 역량이 결정합니다. ELT는 원천 데이터를 그대로 적재한 뒤 웨어하우스 안에서 변환하고, ETL은 적재 전에 정제합니다. 중요한 것은 변환 규칙이 코드로 남아 있는지입니다. 화면에서 클릭으로 만든 규칙은 담당자가 바뀌면 추적이 끊깁니다.
- ELT — 저장소 성능이 충분하고 SQL 역량이 있는 팀에 맞습니다. 변환 이력을 저장소 안에서 관리합니다.
- ETL — 개인정보 마스킹이나 형식 정제를 적재 전에 마쳐야 할 때 맞습니다.
- 기준 — 어느 쪽이든 규칙이 리뷰 가능한 코드로 남는지가 나중에 사람이 바뀌어도 이어집니다.
02. store · define · analyze
저장·시맨틱·분석, 세 계층이 서로를 지탱합니다
저장 계층이 데이터를 보관하고, 시맨틱 계층이 의미를 붙이고, 분석 계층이 그 의미를 질문 가능한 형태로 엽니다. 어느 하나가 비면 뒤가 흔들립니다.
시맨틱 레이어: 지표 정의가 흔들리지 않게
시맨틱 레이어는 테이블과 컬럼 위에 업무 용어를 얹는 계층입니다. '활성 고객'의 기준이 부서마다 다르면 대시보드가 아무리 예뻐도 신뢰를 잃습니다. 정의를 한 곳에 두고 모든 분석 화면이 그 정의를 참조하게 만들면, 같은 질문에 같은 답이 나옵니다.
metric dictionary
지표 이름, 계산식, 소유 부서, 변경 이력을 한 문서에서 관리합니다. 대시보드가 늘어나도 참조하는 정의는 하나입니다.
정의가 코드로 관리되면 지표 변경이 어떤 보고서에 영향을 주는지 되짚을 수 있습니다.
analyze
분석 계층: 셀프서비스 BI
현업이 직접 질문할 수 있게 열어주는 계층입니다. 다만 탐색 범위와 게시 권한은 분리해야 합니다.
- 정의된 지표 위에서의 탐색은 넓게 허용합니다.
- 외부 공개나 공식 보고서 게시는 별도 승인 절차를 둡니다.
orchestrate
변환과 오케스트레이션
작업 순서와 의존 관계를 관리하는 계층입니다. 실패한 작업을 어디서부터 다시 돌릴지, 어느 작업이 끝나야 다음이 시작되는지를 정의합니다. 재처리 정책을 미리 정해두지 않으면 장애 때마다 수작업이 발생합니다.
- dependency
- 어느 작업이 끝나야 다음이 시작되는지 명시합니다.
- rerun policy
- 실패한 작업을 어디서부터 다시 돌릴지 미리 정합니다.
- native script
- 수집·가공·반출 부하를 관리하기 위한 런타임을 둡니다.
배포와 운영까지, 같은 규칙 위에서
파이프라인 계층별 확인 항목
-
수집
원천별 갱신 주기와 마지막 성공 시각
-
저장
정형·비정형 비중과 저장소 선택 기준
-
모델링
변환 규칙이 코드로 남아 있는지
-
시맨틱
지표 정의의 출처와 소유 부서
-
분석
탐색 범위와 게시 승인 분리
-
배포
임베디드 인증 위임과 화면 성능
배포와 확장
배포 계층과 AI 확장, 같은 데이터 위에서
분석 계층이 안정되면 예측과 학습을 같은 데이터 위에 얹을 수 있습니다. 순서를 건너뛰면 배포는 다시 흔들립니다.
deliver
배포 계층: 대시보드와 임베디드
사내 보고는 대시보드로, 고객 대면 서비스는 임베디드 분석으로 나갑니다. IBM Analytics가 모든 채널에서 데이터 기반 인사이트를 제공하는 방향을 강조하는 것도 이 배포 범위와 연결됩니다. 임베디드로 갈 때는 인증 위임과 화면 성능을 함께 검토해야 합니다.
- 사내 보고 채널은 정의된 지표를 그대로 사용합니다.
- 임베디드 채널은 인증 위임 방식을 먼저 확정합니다.
operate · extend
운영과 AI 확장, 같은 화면에서
파이프라인 지연, 실패율, 쿼리 비용을 한 화면에서 봅니다. 클라우드 웨어하우스는 쿼리량에 따라 비용이 움직이므로, 누가 어떤 쿼리를 얼마나 돌리는지 추적하지 않으면 예산이 흔들립니다.
분석 계층이 안정되면 예측 분석과 모델 학습을 같은 데이터 위에 올릴 수 있습니다. 데이터가 이미 정제되어 있으면 모델링 착수가 훨씬 빠릅니다.
- delay
- 단계별 지연과 실패율을 한 화면에서 확인합니다.
- cost
- 쿼리량과 실행 주체를 추적해 예산 변화를 설명합니다.
- extend
- 정제된 데이터 위에 예측·학습 워크로드를 얹습니다.
FAQ
도입 전 자주 확인하는 질문
아키텍처를 검토할 때 실제로 가장 많이 나오는 질문 네 가지를 정리했습니다. 더 구체적인 상황은 상담에서 함께 확인합니다.
웨어하우스와 레이크하우스 중 어느 쪽부터 시작해야 하나요?
정형 데이터 비중이 높고 SQL 중심이라면 웨어하우스로 시작해도 단순합니다. 비정형 데이터와 모델 학습이 함께 필요하다면 레이크하우스 쪽이 맞습니다. 처음부터 둘 다 두는 것보다, 현재 질문의 성격에 맞춰 한 쪽을 먼저 세우는 편이 운영 비용이 낮습니다.
시맨틱 레이어를 도입하면 기존 대시보드는 어떻게 되나요?
기존 대시보드를 한 번에 없애지 않습니다. 자주 쓰이는 지표부터 정의를 시맨틱 레이어로 옮기고, 새로 만드는 화면은 그 정의를 참조하도록 시작합니다. 정의가 안정된 뒤에 기존 화면을 단계적으로 옮기면 같은 질문에 같은 답이 나오는 상태로 수렴합니다.
임베디드 분석으로 갈 때 가장 먼저 검토할 것은 무엇인가요?
인증 위임 방식과 화면 성능입니다. 사내 사용자를 전제로 만든 화면은 외부 사용자를 만나면 권한 범위와 응답 시간이 다른 조건이 됩니다. 어떤 채널에 어떤 권한으로 보여줄지 먼저 정하고, 그 조건에 맞춰 화면을 다시 점검하는 순서가 안전합니다.
비용을 통제하려면 무엇부터 추적해야 하나요?
쿼리량과 실행 주체입니다. 같은 데이터라도 누가 어떤 화면에서 얼마나 자주 돌리는지에 따라 비용이 달라집니다. 예약 쿼리와 반복 스캔을 분리해 보는 것부터 시작하면, 줄일 수 있는 부분이 비교적 이른 단계에서 드러납니다.
문의
아키텍처 상담 요청하기
현재 데이터 원천 구성, 웨어하우스 선택, 시맨틱 레이어 도입 시점을 함께 정리해 드립니다. 아래 항목을 남겨주시면 영업일 기준 한두 일 안에 담당자가 확인합니다.