DataHub 리뷰: 실제로 데이터를 찾아주는 오픈 소스 데이터 카탈로그 (정신 건강까지 지켜드립니다)
업데이트 날짜: 2025년 9월 28일
10 분
다섯 개의 클라우드 드라이브와 2021년 슬랙 스레드에서 Final_Final_v9_REAL_THIS_TIME.xlsx라는 스프레드시트를 찾으려고 애쓴 적이 있나요? 이것이 바로 현대적인 데이터 검색입니다. 방 탈출 게임과 같지만, 더 많은 대시보드와 더 적은 단서가 주어지죠. 여기 가 있습니다. 데이터 GPS가 되어줄 오픈 소스 데이터 카탈로그를 표방하죠. 이번 리뷰에서 저는 직접 사용해보고 길을 잃기도 하고, 다시 찾기도 했습니다. 메타데이터 계보 그래프와 스키마 탐색 사이에서 정리된 데이터가 사람들을 얼마나 행복하게 만드는지 다시금 깨달았습니다.
Joanna 스타일로 분석해 보겠습니다. 가 무엇인지, 누구를 위한 것인지, 성능은 어떤지, 어떤 문제점이 있는지, 그리고 다른 사람이 새로운 “단일 정보 소스” 문서를 시작하기 전에 팀에서 도입해야 하는지 여부를 살펴보겠습니다. (스포일러: 단 하나만 존재할 수는 없습니다.)
DataHub는 실제로 무엇일까요? 실제로 사용할 수 있는 리뷰
는 오픈 소스 메타데이터 플랫폼입니다. 데이터 자산에 대한 살아있는 지도라고 생각하면 됩니다. 웨어하우스, 레이크, BI 도구 및 파이프라인을 크롤링하여 소유권, 사용량, 계보 및 문서가 모두 한 곳에 있는 검색 가능하고 탐색 가능한 카탈로그로 변환합니다. 현재 데이터 검색 방법이 “그 테이블이 어디에 있지?”라는 질문 후 슬랙에서 12번 핑을 보내는 것이라면, 는 성숙한 방식입니다.
- 핵심 아이디어: 스키마, 계보, 소유권, 문서, 태그 등 메타데이터를 통합하여 사람들이 데이터를 찾고 신뢰할 수 있도록 합니다.
- 오픈 소스 기반: LinkedIn에서 탄생했으며 현재 활발한 커뮤니티와 엔터프라이즈 추가 기능을 제공합니다.
- 실질적인 이점: 더 빠른 검색, 중복된 대시보드 감소, “이 테이블은 더 이상 사용되지 않나요?”라는 스탠드업 미팅 감소.
스토리: KPI를 찾다가 조직도를 발견하다
저는 오전 9시 15분까지 부사장에게 깊은 인상을 주려고 하는 신입 사원처럼 를 테스트했습니다. "활성 사용자"를 검색하고 analytics.active_users_daily라는 테이블을 클릭했더니 설명, 소유자, 다운스트림 대시보드, 카페인에 찌든 토목 기사가 그린 지하철 노선도처럼 보이는 계보 그래프가 나타났습니다. 저는 변환 작업으로 업스트림 라인을 따라갔고, 누가 언제 마지막으로 실행했는지, 지난 화요일에 숫자가 왜 변경되었는지 확인했습니다. 아무에게도 핑을 보내지 않았습니다. README_please.md라는 문서를 열지도 않았습니다. 저는… 평온했습니다.
DataHub 리뷰: 중요한 주요 기능
1) 울고 싶지 않은 검색 기능
의 검색은 빠르고 놀라울 정도로 관대합니다. 쿼리 동의어는 유용하고, 플랫폼, 도메인, 태그, 소유자에 대한 패싯은 매우 유용합니다. 테이블, 대시보드, 파이프라인, ML 기능 및 용어집 용어를 최고 수준으로 취급합니다. 즉, "수익"을 검색하여 데이터 두더지 잡기 게임을 하지 않고도 표준 테이블, Looker 대시보드 및 용어집 정의를 찾을 수 있습니다.
마음에 들었던 점:
- 관련성은 로봇이 아닌 사람을 위해 조정된 느낌입니다.
- 패싯 필터를 사용하면 두 번의 클릭으로 “BigQuery + 대시보드 + 재무 도메인”으로 좁힐 수 있습니다.
- 결과에서 풍부한 미리 보기를 통해 10개의 탭을 여는 시간을 절약할 수 있습니다.
2) 실제로 유용한 계보 (단순히 예쁜 것이 아님)
계보 그래프가 예쁘다는 것은 사실입니다. 더 중요한 것은 실행 가능하다는 것입니다. 업스트림 소스, 다운스트림 대시보드 및 이를 연결하는 작업을 볼 수 있습니다. 업스트림에서 문제가 발생하면 가 월간 보고서가 갑자기 밈 주식처럼 보이는 이유를 CFO가 궁금해하기 전에 누구에게 경고해야 하는지 알려줍니다.
마음에 들었던 점:
- 엔드 투 엔드 계보: 소스 → 변환 → BI.
- 스키마, 소유권, 상태와 함께 클릭 가능한 노드.
- 영향 분석: 열을 변경하고 누가 소리치는지 확인합니다.
3) 소유권 및 도메인: 화난 이메일 없이 책임감 부여
는 소유자와 도메인을 할당하도록 유도합니다. 이것이 비법입니다. 모든 데이터 세트에 책임 있는 팀과 “마케팅 분석” 또는 “재무”와 같은 도메인이 있으면 모든 질문에 무작위 데이터 엔지니어를 태그하는 것을 멈추고 올바른 사람을 태그할 수 있습니다. 마법입니다.
마음에 들었던 점:
- 어디에나 나타나는 명확한 소유권 필드.
- 도메인 기반 탐색은 새로운 사람들이 조직의 데이터 맵을 배우는 데 도움이 됩니다.
- ID 공급자의 그룹/역할 매핑과 함께 작동합니다.
4) 용어집 및 문서화: 단어가 중요합니다 (매우 중요).
의 용어집은 마침내 “활성 사용자”를 어떻게 계산할지에 대한 논쟁을 해결하는 곳입니다. 정의를 실제 자산에 연결합니다. 예제를 추가합니다. 동의어를 태그합니다. 갑자기 “MRR”, “수익” 및 “ARR”이 적이 아닌 친구가 됩니다.
마음에 들었던 점:
- 테이블 및 대시보드 바로 옆에 있는 풍부한 문서.
- 용어집 용어가 검색 및 UI 배지에 표시됩니다.
- 상황에 맞는 문서 관리를 장려합니다. 사람들이 읽는 곳에 작성하세요.
5) 거버넌스 및 신뢰 신호: 신뢰의 바이러스성 확산
이 플랫폼을 사용하면 자산을 “확인됨”, “더 이상 사용되지 않음” 또는 “검토 중”으로 레이블을 지정할 수 있습니다. 이는 큰 문화적 영향을 미치는 작은 UI 장식입니다. 데이터 세트 옆에 녹색 확인됨 배지가 표시되면 어깨가 풀립니다. 더 이상 사용되지 않음이 표시되면 탭을 닫고 책임감 있는 어른처럼 걸어갑니다.
마음에 들었던 점:
- 사용자가 실제로 존중하는 배지 및 태그.
- 보다 공식적인 상점을 위한 정책 및 승인.
- 자유와 안전 장치의 건강한 균형.
설치 및 통합: 주말을 망칠까요?
짧은 대답: 아마도 아닐 것입니다. 하지만 미리 계획하십시오. 는 Snowflake, BigQuery, Redshift, Databricks, Postgres, Looker, Tableau, Power BI, Airflow, dbt 등과 같은 인기 있는 스택에 대한 공식 수집기를 제공합니다. 일정에 따라 메타데이터 수집 작업을 실행하고, 인증을 연결하고, 크롤링하도록 합니다.
- 오픈 소스 배포: Docker/Kubernetes. 인프라에 익숙한 사람이 필요합니다.
- 서비스를 관리하고 싶지 않다면 클라우드/관리 옵션이 있습니다.
- 수집은 반복 가능합니다. ETL과 마찬가지로 코드에서 구성하고, 버전을 관리하고, 일정을 예약합니다.
현실 점검:
- 몇 가지 일회성 수정 (잘못된 스키마 이름, 오래된 대시보드, 고아 파이프라인)이 나타날 것으로 예상하십시오. 좋습니다. 메타데이터는 해골에 빛을 비춥니다.
- SSO/권한을 설정하는 시간을 계획하십시오. 보안 팀이 의견을 제시할 것입니다. 미리 초대하십시오.
성능 및 확장성: 계속 유지될까요?
는 증가하는 메타데이터에 따라 적절히 확장됩니다. 검색 및 계보에 대한 쿼리 속도는 테스트에서 유지되었습니다. 더 큰 이점은 운영입니다. 수집을 자동화하고 합리적인 일정을 설정하면 영웅적인 작업을 수행하지 않아도 됩니다. 빠르고 지루하며 안정적인 동기화만 있으면 됩니다. 가장 좋은 종류의 지루함이죠.
프로 팁: 첫날에 전체 우주를 수집하지 마십시오. 사람들이 가장 많이 불평하는 5개의 시스템으로 시작하고, 태그를 잘 지정하고, 거기에서 확장하십시오. 메타데이터는 집 식물 및 그룹 채팅과 마찬가지로 가지치기를 통해 번성합니다.
DataHub 대 다른 대안: 솔직한 평가
- DataHub 대 Amundsen: 는 더 세련되고 풍부한 계보와 소유권을 제공합니다. Amundsen은 더 가볍지만 함께 붙이는 데 더 많은 시간을 할애해야 할 것입니다.
- DataHub 대 OpenMetadata: OpenMetadata는 비슷한 목표와 강력한 커뮤니티를 가지고 있습니다. 의 검색 및 거버넌스는 약간 더 성숙하고 더 깊은 엔터프라이즈 브리지를 제공합니다.
- DataHub 대 “Confluence를 사용하고 희망하기”: 안 됩니다.
- DataHub 대 독점 카탈로그: 유료 플랫폼은 더 많은 턴키 규정 준수 및 UI 광택을 제공할 수 있습니다. 는 유연성, 개방형 API 및 강력한 비용 스토리를 제공합니다.
DataHub의 가장 좋은 부분 (몽타주 음악 시작)
- 일반인이 사용할 수 있는 뛰어난 검색 및 검색 기능.
- 단순한 예술이 아닌 계보. 경고, 영향 분석 및 적은 수의 깨진 대시보드입니다.
- 데이터를 실제 팀에 맞추는 소유권 및 도메인 모델.
- 사람들이 실제로 필요로 하는 곳에 있는 용어집 및 문서.
- 활성 커뮤니티와 확장성을 갖춘 오픈 소스 기반.
DataHub가 걸려 넘어지는 곳 (완벽한 도구는 없기 때문에)
- 설치가 “다음, 다음, 완료”가 아닙니다. 인프라 편안함과 약간의 YAML 인내가 필요합니다.
- UI 광택은 기능에 따라 다릅니다. 치명적인 것은 아니지만 모든 것이 Apple 스토어처럼 반짝이는 것은 아닙니다.
- 변경 관리는 현실입니다. 데이터 카탈로그는 50% 소프트웨어, 50% 문화입니다. 아무도 문서를 작성하지 않으면 어떤 도구도 당신을 구할 수 없습니다.
실습: 7일 DataHub 빠른 시작 계획
리뷰는 실행할 수 있는 경우에만 유용하므로 PM을 슬프게 고개를 젓게 만들지 않는 빠른 주간 계획이 있습니다.
1일차: 상위 2~3개의 소스 (예: Snowflake, dbt, Looker)를 선택하고 목표를 설정합니다. “메타데이터 채택”보다 “중복 대시보드 30% 감소”가 더 낫습니다.
2일차: 샌드박스를 배포합니다. Docker Compose 또는 관리 옵션을 사용합니다. SSO를 미리 연결합니다.
3일차: 상위 소스에 대한 수집을 구성합니다. 구성을 버전 관리합니다. 첫 번째 동기화를 실행합니다. 나타나는 모든 깨진 링크를 축하합니다. 버그가 미리 발견된 것입니다.
4일차: 도메인 및 소유권을 정의합니다. 실제 사람 ( “데이터 팀”이 아님)을 할당합니다. 각 도메인에 대한 슬랙 채널을 추가합니다.
5일차: 5개의 작은 문서를 작성합니다. 가장 많이 사용되는 테이블에 하나, 가장 논쟁이 많은 KPI에 하나, 사용자가 저주하는 불안정한 파이프라인에 3개.
6일차: “활성 사용자”, “수익”, “이탈”에 대한 용어집 용어를 추가합니다. 자산에 연결합니다. 배지를 적용합니다. 확인됨, 더 이상 사용되지 않음, 검토 중.
7일차: 점심시간 학습을 시작합니다. 검색, 계보, 소유권을 데모합니다. 기록합니다. 피드백 양식을 추가합니다. 슬랙에 고정합니다. 쿠키로 매수합니다. 좋은 종류로요.
다양한 팀을 위한 DataHub: 누가 무엇을 얻습니까
- 분석가: 더 빠른 검색, 적은 수의 핑, 더 명확한 KPI 정의. “숫자가 맞다고 맹세합니다”를 줄입니다.
- 데이터 엔지니어: 소유권 명확성, 변경 전 영향 분석, 적은 수의 지원 티켓.
- BI 개발자: 계보를 인식하는 배포, 신뢰할 수 있는 대시보드, 더 작은 백로그.
- 제품 관리자: 대시보드를 직접 찾습니다 (기적). 업스트림 위험을 이해합니다.
- 보안/규정 준수: 거버넌스 레이블, 감사 친화적인 계보 및 소유권.
문화적 측면: 메타데이터 경찰이 되지 않고 정착시키기
- 소유권을 공개합니다. 모든 것이 “데이터” 소유인 경우 아무도 소유하지 않습니다.
- 문서 기여에 대한 보상. 스탠드업에서 외치는 것은 무료이며 매우 효과적입니다.
- 카탈로그 업데이트를 PR에 포함합니다. 열 이름을 바꾸고 문서를 업데이트하지 않으면 벨이 울리고 데이터 엔지니어가 커피를 잃어야 합니다.
가격 및 가치: 오픈 소스가 무료 유니콘을 의미하지는 않습니다.
DataHub의 오픈 소스 코어는 무료로 실행할 수 있지만 시간 (설정, 호스팅, 유지 관리)을 지불해야 합니다. 많은 팀이 유연성과 장기적인 제어를 위해 그만한 가치가 있다고 생각합니다. 관리형 제품은 편의성, SLA 및 엔터프라이즈 기능을 추가합니다. 어떤 쪽이든 스프레드시트가 감사할 것입니다.
보안 및 개인 정보 보호: 법률 팀이 질문할 것입니다.
DataHub는 실제 데이터가 아닌 메타데이터를 저장합니다. 그래도 중요한 시스템처럼 취급하십시오.
- SSO 및 RBAC를 첫날부터 통합합니다.
- 필요한 것만 수집하도록 범위를 지정합니다.
- 감사 로그를 보관합니다. 누가 무엇을 했는지 아는 것에 대해 미래의 당신이 감사할 것입니다.
예상치 못한 작은 즐거움
- 파워 사용자를 위한 키보드 단축키. 검색, 필터링, 완료.
- 다른 도구로 순례할 필요가 없는 인라인 열 수준 설명.
- 문서/소유자를 추가하라는 미묘한 권고. 냉장고를 부드럽게 재구성하는 깔끔한 친구와 같습니다.
DataHub를 건너뛰어야 하는 사람 (지금은)
- 단일 웨어하우스와 5개의 신뢰할 수 있는 대시보드가 있는 작은 팀. 공유 README로도 충분할 수 있습니다. 강조합니다. 그럴 수 있습니다.
- 프로세스에 알레르기가 있는 조직. 팀이 소유자를 추가하거나 한 줄짜리 문서를 작성하기를 거부하면 어떤 카탈로그도 당신을 구할 수 없습니다.
판결: DataHub 리뷰 결론
회사에 둘 이상의 데이터 저장소, 셋 이상의 대시보드, 혼란스러워하는 사람이 한 명 이상 있는 경우 DataHub를 진지하게 살펴보십시오. 검색, 계보, 소유권과 같은 기본 사항을 정확히 파악하고 “어딘가에 있는 데이터”에서 “누군가가 찾고 이해하고 깨뜨리지 않을 수 있는 데이터”로 성장할 수 있는 플랫폼을 제공합니다.
참고: 스택을 평가하거나 문서화하는 동안 더 스마트한 공동 조종사가 필요하다면 Sider.AI가 지저분한 문서를 요약하고, 옵션을 비교하고, 를 시스템에 매핑할 때 메모를 깔끔하게 유지하는 데 도움을 줄 수 있습니다. 매뉴얼을 읽을 필요가 없도록 도와주고 평이한 영어로 설명해주는 친구라고 생각하세요.
빠른 장단점 (바쁘니까)
장점:
- 뛰어난 검색 및 실용적인 계보
- 실제 책임감을 유도하는 소유권, 도메인 및 용어집
- 오픈 소스 유연성 및 강력한 생태계
- 신뢰를 구축하는 거버넌스 배지
단점:
- 설치 및 인프라에 실제 노력이 필요함
- UI 광택이 부분적으로 고르지 않음
- 전체 가치를 얻으려면 문화 변화가 필수적임
스크린샷할 수 있는 최종 결론
- 작게 시작하십시오. 상위 3개 소스, 명확한 소유자, 5개 문서, 3개 용어집 용어.
- 수집을 자동화한 다음 더 많은 것을 자동화합니다.
- 카탈로그를 제품으로 취급하십시오. 로드맵, 소유자, 피드백 루프.
- 완벽함이 유용함을 막지 않도록 하십시오. 괜찮은 설명이 빈 상자보다 항상 낫습니다.
DataHub가 사람이라면 사무실 냉장고에 라벨을 붙이고, 캘린더 알림을 설정하고, 어떻게든 모든 사람이 짜증나지 않게 준수하도록 만드는 동료입니다. 방황하는 대시보드와 미스터리한 메트릭의 세계에서 그것은 당신이 단축 다이얼에 두고 싶어하는 영웅입니다.
FAQ
Q1: DataHub는 소규모 팀에 적합합니까, 아니면 과도한가요?
웨어하우스가 하나이고 대시보드가 5개인 경우 DataHub가 추가될 수 있습니다. 공유 문서가 작동할 수 있습니다. 더 많은 소스, 더 많은 사람, 더 많은 혼란이 추가되면 이 데이터 카탈로그는 더 적은 핑과 더 명확한 정의로 비용을 지불하기 시작합니다.
Q2: 다른 데이터 카탈로그와 비교하여 DataHub를 설정하는 것이 얼마나 어렵습니까?
원 클릭은 아니지만 Docker/Kubernetes 편안함과 몇 개의 YAML로 수행할 수 있습니다. 수집 프레임워크는 견고하며 서비스를 관리하고 싶지 않다면 관리형 옵션이 거친 가장자리를 부드럽게 합니다.
Q3: DataHub의 계보가 예쁜 그래프보다 나은 점은 무엇입니까?
영향 분석 및 소유권입니다. 업스트림 변경 사항을 사람들이 실제로 쳐다보는 대시보드로 추적한 다음 숫자가 옆으로 이동하기 전에 올바른 사람에게 알릴 수 있습니다. 화재를 그리는 것이 아니라 예방하는 계보입니다.
Q4: DataHub는 거버넌스 및 규정 준수 요구 사항을 처리할 수 있습니까?
예, 메타데이터 수준에서: 확인됨/더 이상 사용되지 않음 배지, 소유권, 도메인 및 정책. 무거운 규정 준수를 위해 기존 컨트롤과 함께 사용하십시오. DataHub는 지도와 레이블을 제공하므로 감사가 스캐빈저 사냥이 되지 않습니다.
Q5: DataHub는 독점 데이터 카탈로그와 어떻게 비교됩니까?
독점 도구는 턴키 거버넌스로 더 화려할 수 있습니다. DataHub의 피치는 오픈 소스 유연성, 강력한 검색 및 실제 유틸리티를 갖춘 계보입니다. 제어 및 커뮤니티를 중요하게 생각한다면 설득력 있는 선택입니다.
