Data Foundation · 데이터 관리체계

Live Screens

다섯 단계로 데이터를 관리합니다.

설계에서 수집으로, 표준과 품질을 거쳐 계보까지 이어집니다. 분석을 하려고 데이터 관리 도구를 따로 갖출 필요가 없습니다. 기능 이름을 누르면 화면 위에서 해당 위치를 짚어드립니다.

모두 실제 구동 중인 화면이며, 데이터는 예시입니다. Data Foundation은 InsightFinder에 포함되어 함께 동작하기 때문에 화면 상단에 InsightFinder 이름이 표시됩니다.

STEP 01

어떤 데이터를 어디서 어떻게 가져올지 먼저 설계합니다

테이블과 항목 단위로 수집 대상을 고르고, 어디에 적재할지와 적재 후 점검 단계까지 정하면 수집이 시작됩니다. 사람이 파일을 옮겨 나르던 일이 설계 한 번으로 바뀝니다.

FACTRO Data FoundationSTEP 01 · 수집 설계

소스 연결어느 시스템에서 가져올지 먼저 고릅니다. 연결이 살아 있는지, 스키마가 어떻게 생겼는지 그 자리에서 드러납니다. 접속 정보를 따로 챙겨 다닐 일이 없습니다.

작업 이름과 실행설계마다 이름을 붙여 두면 나중에 누가 무엇을 왜 가져왔는지 찾을 수 있습니다. 저장하면 버전으로 남고, 실행은 버튼 하나입니다.

가져올 객체 선택소스의 스키마를 자동으로 훑어 테이블과 컬럼을 목록으로 펼치므로, 어디에 무엇이 있는지 사람에게 물어볼 필요가 없습니다.

테이블·컬럼 검색테이블이 수백 개여도 이름으로 좁혀 찾습니다. 고른 것만 보기, 한 번에 펼치기와 접기도 함께 있습니다.

컬럼 단위 선택테이블을 통째로 가져오지 않습니다. 필요한 컬럼만 고릅니다. 전화번호처럼 옮길 이유가 없는 항목은 처음부터 빼 둡니다.

증분·전체·기본키 표시바뀐 것만 가져올지 전부 가져올지, 어떤 항목이 기본키인지가 화면에 표시로 남습니다. 다음 사람이 설계를 열어도 그대로 읽힙니다.

선택 요약몇 개 테이블에 몇 개 컬럼을 골랐고 증분 기준 항목은 무엇인지, 지금까지 고른 것이 테이블 단위로 정리되어 합계까지 나옵니다.

적재 대상가져온 데이터를 어디에 넣을지 정합니다. 원본을 그대로 두는 자리를 따로 두어, 표준화 전 데이터와 후 데이터가 섞이지 않습니다.

적재 후 단계품질 점검, 표준화, 카탈로그 등재를 필요한 것만 켭니다. 수집 한 번으로 관리체계의 다음 단계까지 이어집니다.

STEP 02

데이터가 들어오는 길목을 한 화면에서 지켜봅니다

몇 개의 소스에서 데이터가 들어오고, 오늘 수집이 성공했는지, 품질 검사는 통과했는지를 한 화면에서 확인합니다. 실패한 수집은 원인과 함께 바로 표시되어 손볼 곳이 그대로 드러납니다.

FACTRO Data FoundationSTEP 02 · 통합 수집 대시보드

수집 소스 현황몇 개 시스템이 연결돼 있고 그중 정상·오류·미설정이 각각 몇 개인지 첫 줄에서 셉니다.

오늘 수집오늘 수집이 몇 건 돌았고 성공과 실패가 각각 몇 건인지, 최근 14일 흐름과 함께 봅니다.

종합 품질률들어온 데이터가 품질 검사를 얼마나 통과했는지, 통과 건수와 실패한 규칙 수까지 붙어 비율로 나옵니다.

처리 대기사람이 손봐야 할 일이 몇 건 남았는지, 품질 실패와 승인 대기를 나눠 세어 둡니다.

수집 실행 추세최근 14일 동안 하루에 몇 건이 돌았는지 막대로 쌓입니다. 성공과 실패는 색으로 갈립니다. 실패가 몰린 날이 바로 눈에 띕니다.

소스 상태 그리드소스마다 최근 여덟 번의 실행 결과가 한 줄로 늘어섭니다. 특정 소스만 계속 어긋나는 것도 여기서 드러납니다.

처리 필요 인박스손볼 일이 목록으로 쌓입니다. 품질 검사 실패, 승인 대기처럼 무엇을 해야 하는지가 건수와 함께 적힙니다.

최근 실패언제 어느 소스가 왜 실패했는지 기록이 남고, 로그를 바로 열어 원인을 확인합니다.

STEP 03

조직마다 다른 이름을 같은 기준으로 읽게 합니다

같은 데이터라도 시스템마다 항목 이름이 다릅니다. 표준 사전은 제각각인 이름을 표준 이름으로 정의하고 연결해, 양식이 달라도 바로 분석에 쓸 수 있게 만듭니다.

FACTRO Data FoundationSTEP 03 · 표준 사전

용어 목록기관이 쓰는 용어가 한자리에 모이고, 새 용어는 등록하거나 직접 입력해 넣습니다.

용어 검색과 필터처리 상태, 구성 분류, 어느 데이터베이스에서 온 용어인지로 좁혀 봅니다.

단어 목록얼마나 자주 쓰이는지와 바꿨을 때 영향이 큰지로 정렬됩니다. 손댈 순서가 저절로 정해집니다.

추천 단어 분해용어를 구성 단어로 쪼개, 이미 표준에 있는 단어와 새로 만들어야 할 단어를 갈라 줍니다.

표준 용어 정의표준분류와 논리명, 영문명, 도메인, 영문약어를 채웁니다. 그러면 하나의 표준 용어로 확정됩니다. 약어 후보는 시스템이 먼저 내놓습니다.

자동 검증과 승인국어사전 대조, 중복 확인, 공공표준 정본 대조를 자동으로 거친 뒤 승인합니다. 승인 전에 영향받는 컬럼과 시나리오 수를 미리 셉니다.

유사어 매핑기관이 실제로 쓰는 이름을 표준 용어에 붙여 두면, 시스템마다 이름이 달라도 같은 것으로 읽힙니다.

영향 범위이 용어를 바꾸면 어느 시스템의 어느 테이블이 걸리는지 목록으로 나옵니다. 적용 여부를 한 건씩 확인합니다.

검수 이력과 메모누가 무엇을 채택하고 보류했는지 기록으로 남고, 판단한 이유를 메모로 붙입니다.

STEP 04

믿어도 되는 데이터인지 분석 전에 확인합니다

빠진 값, 오래된 값, 형식 오류를 자동으로 검사해 항목별 통과율로 보여줍니다. 품질이 확인되지 않은 데이터가 분석에 흘러들어가는 일을 구조적으로 막습니다.

FACTRO Data FoundationSTEP 04 · 데이터 품질 점검

품질 점수검사 항목 전체를 하나의 점수로 압축합니다. 통과율과 검사 항목 수가 함께 붙어 점수의 근거를 볼 수 있습니다.

검사 규칙 현황몇 개 규칙이 돌았는지 셉니다. 통과와 실패, 미실행이 각각 몇 개인지 갈라 놓습니다. 아직 돌지 않은 규칙도 감추지 않습니다.

품질 추세최근 14일 통과율이 오르는 중인지 내리는 중인지 선으로 보여줍니다. 한 번 좋았던 점수가 아니라 흐름으로 판단합니다.

검사 대상 좁히기데이터셋, 컬럼, 검사 유형, 상태로 걸러 지금 볼 것만 남깁니다.

고유 규칙 추가범정부 기준에 없는 우리 기관만의 규칙도 직접 등록해 같은 화면에서 함께 측정합니다.

항목별 통과율어떤 데이터셋의 어떤 컬럼이 어떤 규칙에서 걸렸는지 한 줄씩 나오므로, 무엇을 고쳐야 하는지가 곧바로 지목됩니다.

실패 항목 먼저실패한 항목이 위로 올라오고 위반 건수가 함께 적힙니다. 급한 것부터 잡을 수 있습니다.

추세와 마지막 검사규칙마다 통과율이 어떻게 움직였는지와 마지막으로 검사한 시각이 남습니다. 언제 기준의 품질인지 분명해집니다.

STEP 05

데이터가 어디서 와서 어디로 가는지 끝까지 남깁니다

보유한 데이터의 목록과 출처, 거쳐 온 과정, 쓰이는 곳까지 흐름(계보)을 관리합니다. 분석 결과의 근거를 끝까지 따라갈 수 있고, 사업이 끝나도 관리체계는 조직에 남습니다.

FACTRO Data FoundationSTEP 05 · 카탈로그와 계보

카탈로그 요약보유한 데이터셋과 컬럼, 도메인이 몇 개인지, 카탈로그가 마지막으로 언제 갱신됐는지 첫 줄에 있습니다.

계보 흐름도원천에서 최종 화면까지, 데이터가 만들어지는 단계가 가로로 이어집니다. 어느 화면의 숫자든 출발점까지 되짚습니다. 근거를 묻는 자리에서 그대로 펼쳐 보이면 됩니다.

신선도와 경로 강조최신·경과·오래됨·예정을 색으로 구분하고, 특정 데이터가 지나간 경로만 굵게 따라갈 수 있습니다.

읽는 법가로 흐름이 데이터가 만들어지는 단계입니다. 노드를 누르면 그 단계의 상세가 아래에 열립니다.

원천데이터가 처음 들어온 곳입니다. 반입 파일, 운영 데이터베이스 직수집, 배치 파일, 외부 공개자료가 건수와 함께 놓입니다.

수집·파싱·적재몇 개 컬럼을 수집해 어떤 표준형으로 바꾸고 어디에 사본을 적재했는지, 거쳐 온 과정이 그대로 남습니다.

표준화·매칭표준 사전까지 이어지는 길입니다. 자동으로 매칭된 것과 매칭되지 않은 것이 갈라져 건수로 남습니다.

데이터셋 검색출처와 도메인, 신선도로 걸러 필요한 데이터셋을 찾습니다.

보유 데이터 목록데이터셋마다 출처와 건수, 신선도, 도메인, 분류, 갱신 시각이 붙습니다. 목록은 사람이 아니라 시스템이 채웁니다. 사업이 끝나도 이 목록은 조직에 남습니다.

Coverage

분석에 이르기까지 다섯 영역을 관리합니다.

수집 · 연계

흩어진 시스템에서 데이터를 모으고, 변경분을 추적해 잇습니다.

메타데이터

어떤 데이터가 어디에 있는지, 구조와 의미를 관리합니다.

표준화

제각각인 항목 이름을 표준 사전으로 정의하고 연결합니다.

품질 진단

빠진 값, 오래된 값, 형식 오류를 자동 검사로 걸러냅니다.

계보 추적

데이터가 어디서 와서 어디로 가는지 전 구간을 따라갑니다.

품질 기준

범정부 데이터 품질진단 기준을 기본으로 내장하고, 조직의 고유 규칙도 직접 등록해 함께 측정합니다. 인공지능 데이터 품질 국제표준(ISO/IEC 5259) 체계를 반영하고 있습니다.

InsightFinder와 함께 분석 플랫폼의 데이터 기반으로.

InsightFinder의 관리체계와 데이터 부분을 Data Foundation이 담당합니다. 질문에서 보고서까지 이어지는 분석의 발밑을, 같은 제품 안에서 상시 지킵니다.

별도 도입 데이터 관리체계만 먼저 시작할 수도 있습니다.

분석 도입 전에 데이터 기반부터 다지려는 기관은 Data Foundation을 별도 제품으로 도입할 수 있습니다. 나중에 InsightFinder를 얹어도 같은 기반 위에서 그대로 이어집니다.