Siap mengubah penyebaran data menjadi kejelasan? DataHub—platform metadata sumber terbuka yang awalnya dibuat di LinkedIn—membantu tim menemukan, mempercayai, dan mengatur data di seluruh gudang data, alat BI, sistem orkestrasi, dan lainnya. Dalam panduan praktis langkah demi langkah ini, Anda akan beralih dari nol ke instance DataHub yang berfungsi, memasukkan metadata, menjelajahi silsilah, dan menyiapkan tata kelola—tanpa tersesat dalam jargon.
Apa yang akan Anda pelajari sekilas:
- Jalankan DataHub secara lokal dalam hitungan menit
- Masukkan metadata dari sumber umum (misalnya, Snowflake, BigQuery, dbt)
- Jelajahi pencarian, silsilah, kepemilikan, dan dokumentasi di UI
- Tentukan kebijakan, tag, dan istilah untuk tata kelola
- Luncurkan proses tim yang benar-benar melekat
Catatan: Ini adalah panduan praktis & berorientasi solusi yang dirancang untuk memetakan ke alur kerja nyata. Kami akan mengutip dokumen resmi untuk spesifikasi dan pembahasan yang lebih mendalam jika diperlukan.
- Mulai Cepat: Jalankan DataHub Secara Lokal
Jika Anda bereksperimen atau melakukan uji coba DataHub, cara tercepat adalah dengan mulai cepat. Pastikan Anda telah menginstal Docker terlebih dahulu. Lalu:
- Luncurkan dengan satu perintah
- Buka UI dan masuk dengan default
Detail, perintah, dan default mulai cepat resmi ada di sini. Pengantar menjelaskan arsitektur dan mengapa DataHub menggunakan model metadata waktu nyata (entitas, aspek, dan pembaruan streaming) yang cocok untuk tumpukan modern.
Tips penyiapan cerdas:
- Mulai secara lokal meskipun Anda berencana untuk menggunakan Kubernetes nanti. Ini lebih cepat untuk mendapatkan dukungan dan demo.
- Jika Anda sudah memiliki Docker Desktop, Anda biasanya akan siap dalam hitungan menit.
- Jaga keamanan kredensial—bahkan di sandbox. Kebiasaan yang dibangun sekarang akan terbayar di kemudian hari.
- Pahami Konsep Inti dalam 5 Menit
Sebelum Anda memasukkan apa pun, biasakan diri Anda dengan model mental DataHub:
- Entitas: Hal-hal seperti dataset, tabel, grafik, dasbor, alur, pengguna.
- Aspek: “Faset” metadata versi tentang entitas (skema, kepemilikan, tag, istilah glosarium, silsilah).
- Grafik: Hubungan (silsilah, kepemilikan, dependensi) mendukung pengalaman pencarian dan penemuan.
Pendekatan berbasis grafik ini memungkinkan fitur seperti analisis dampak (apa yang rusak jika kita mengubah kolom ini?), pemetaan silsilah hilir, dan sinyal kepercayaan (pemilik, tag, dokumentasi). Ikhtisar konseptual yang ringkas ada di panduan pengantar.
- Masukkan Metadata: UI vs. CLI (Pilih Jalur Anda)
DataHub mendukung pemasukan UI yang mudah digunakan dan alur CLI yang dapat dibuat skrip. Pilih apa yang sesuai dengan alur kerja Anda hari ini—banyak tim menggunakan keduanya.
Opsi A: Pemasukan Berbasis UI (cepat untuk penayangan pertama)
- Di UI, buka Pemasukan → Sumber Baru.
- Pilih sumber (misalnya, Snowflake, BigQuery, dbt, Kafka, Looker, Tableau).
- Jadwalkan atau jalankan pemasukan sesuai permintaan.
Alur dan langkah-langkah UI dibahas di sini. Ini ideal untuk non-insinyur atau tim yang ingin memvalidasi konektivitas dengan cepat.
Opsi B: Pemasukan Berbasis CLI (dapat diulang dan ramah CI)
- Buat resep YAML yang menentukan sumber, filter, dan pemetaan Anda.
- Jalankan: datahub ingest -c recipe.yml
- Commit resep ke kontrol versi untuk pengulangan.
Pemasukan dan resep CLI didokumentasikan secara rinci di sini. Pendekatan ini lebih baik untuk alur dev/prod, otomatisasi, dan konsistensi.
Tips pro untuk pemasukan:
- Mulailah dengan satu atau dua sumber yang paling penting (misalnya, Snowflake + dbt). Kemenangan cepat membangun momentum.
- Filter secara agresif. Jangan memasukkan setiap dataset sandbox pada hari pertama; itu menciptakan kebisingan.
- Tambahkan nama instance platform (seperti snowflake:prod vs snowflake:dev) untuk menghindari kebingungan.
- Jelajahi UI: Pencarian, Silsilah, dan Kepemilikan
Setelah pemasukan pertama Anda selesai, masuk ke UI untuk memvalidasi nilai dengan cepat:
- Pencarian Universal: Temukan dataset, dasbor, dan alur berdasarkan nama, skema, tag, atau istilah glosarium.
- Grafik Silsilah: Klik ke dalam dataset untuk melihat koneksi hulu dan hilir. Ini sangat berharga untuk analisis dampak.
- Kepemilikan & Dokumentasi: Tambahkan pemilik (tim atau pengguna) dan tulis deskripsi yang jelas. Ini adalah sinyal kepercayaan pertama yang akan dirasakan organisasi Anda.
- Skema & Pembuatan Profil: Tinjau nama kolom, jenis, dan statistik sampel. Deteksi anomali sejak dini.
- Tambahkan Makna: Glosarium, Tag, dan Domain
Metadata mentah hanyalah permulaan. Anda akan membuka adopsi nyata dengan melapisi semantik:
- Istilah Glosarium: Tentukan konsep yang mudah digunakan bisnis (Pelanggan, ARR, Pengguna Aktif). Lampirkan ke dataset/kolom untuk menstandarkan bahasa.
- Tag: Label ringan (PII, Kritis, Usang, Emas). Isyarat visual cepat untuk risiko dan kepentingan.
- Domain: Kelompokkan aset terkait berdasarkan fungsi bisnis (Keuangan, Pemasaran) atau platform.
Taksonomi pertama yang direkomendasikan:
- Tiga istilah glosarium yang dipahami semua orang (Pelanggan, Pesanan, Pendapatan)
- Satu set tag kecil: pii, gold, deprecated, experimental
- 5–7 domain yang memetakan ke bagan organisasi atau platform data Anda
- Tata Kelola Yang Berskala: Kebijakan dan Akses
DataHub mendukung kebijakan berbasis peran dan aset sehingga Anda dapat mengontrol siapa yang dapat melakukan apa (mengedit dokumentasi, menambahkan tag, mengelola silsilah, dll.). Mulailah dengan sederhana:
- Buat grup “Stewards” dengan hak edit pada dokumen, kepemilikan, dan tag.
- Beri analis akses baca ke sebagian besar aset tetapi batasi domain sensitif.
- Wajibkan pemilik untuk dataset “emas” sebelum muncul di “Pilihan Teratas”.
Kebijakan dan tata kelola berada di dalam platform, sehingga pengalaman konsisten untuk editor dan pemirsa. Seiring dengan matangnya organisasi Anda, perluas dengan izin dan alur persetujuan yang lebih terperinci.
- Praktik Terbaik Operasional: Jadikan Itu Melekat
Program metadata gagal ketika terasa seperti pekerjaan tambahan. Jadikan DataHub bagian dari alur normal:
- Sematkan di PR/CI: Ketika alur data berubah, jalankan pemasukan metadata dan bandingkan perbedaan skema. Tandai perubahan yang melanggar secara otomatis.
- Sejajarkan dengan dbt: Gunakan dokumen, pengujian, dan eksposur dbt; munculkan di DataHub untuk menghubungkan kode ke konteks bisnis.
- Buat “Buku Pedoman Adopsi”: Pemilik menambahkan dokumen, tag, dan istilah glosarium selama orientasi. Hadiahi kualitas melalui kartu skor.
- Publikasikan Kontrak Data: Untuk tabel utama, tentukan SLA, kesegaran, nullabilitas, dan aturan stabilitas. Munculkan di DataHub.
- Dari Pilot ke Produksi: Apa Yang Berubah?
- Infrastruktur: Pindah dari Docker lokal ke lingkungan terkelola (Kubernetes, layanan cloud). Pertimbangkan opsi yang dihosting jika tersedia di organisasi Anda.
- Auth/SSO: Berintegrasi dengan penyedia identitas Anda (Okta, Azure AD, dll.).
- Observabilitas: Pantau pekerjaan pemasukan, ukuran grafik, dan kinerja UI.
- Manajemen Perubahan: Tetapkan irama peninjauan metadata (misalnya, sinkronisasi pengelolaan mingguan).
- Pemecahan Masalah: Kesalahan Umum dan Perbaikan
- “Saya tidak dapat melihat tabel saya.” Periksa aturan jaringan, kredensial, dan filter sumber. Jalankan resep pemasukan minimal untuk mengisolasi masalah.
- “Silsilah tidak lengkap.” Pastikan Anda telah memasukkan dari orkestrasi (Airflow), transformasi (dbt), dan sumber gudang data. Silsilah sering membutuhkan beberapa konektor.
- “Pencarian terasa berantakan.” Kencangkan filter, tambahkan tag/glosarium, dan sembunyikan aset yang sudah usang.
- “Dokumen sudah usang.” Jadwalkan pemasukan reguler; dorong pemilik untuk memperbarui deskripsi bersamaan dengan perubahan kode.
- Contoh: Jalur Cepat ke Nilai dalam 48 Jam
Hari 1
- Jalankan DataHub secara lokal melalui mulai cepat.
- Masukkan dari gudang data Anda (Snowflake/BigQuery) menggunakan pemasukan UI.
- Tambahkan pemilik dan deskripsi ke lima dataset penting.
- Buat istilah glosarium untuk Pelanggan dan Pendapatan; tag dataset tersebut sebagai emas.
Hari 2
- Masukkan metadata dbt untuk menghubungkan model ke tabel.
- Validasi silsilah di seluruh pemasukan → transformasi → BI.
- Buat kebijakan bahwa hanya stewards yang dapat mengubah dokumen dataset emas.
- Demonstrasikan tampilan silsilah dan pengalaman pencarian kepada pemangku kepentingan; kumpulkan umpan balik.
Referensi Utama
- Mulai cepat: penyiapan lokal, kredensial, port, perintah
- Ikhtisar konsep dan arsitektur
- Langkah-langkah pemasukan berbasis UI
- Pemasukan CLI dan resep YAML
Di Mana Sider.AI Dapat Membantu
Jika tim Anda sering meneliti praktik terbaik, menulis dokumen dataset, atau membutuhkan ringkasan yang mudah dicerna tentang silsilah dan perubahan skema, perlu dicatat bahwa Sider.AI dapat mempercepat dokumentasi dan berbagi pengetahuan. Misalnya, Anda dapat mengubah perbedaan skema yang padat menjadi log perubahan yang mudah dibaca manusia, atau menghasilkan draf pertama deskripsi dataset yang disempurnakan oleh stewards—mengurangi waktu dari metadata mentah ke konteks yang dapat digunakan. Lembar Contekan: 10 Tindakan Pertama Anda
- Luncurkan DataHub secara lokal melalui mulai cepat.
- Tambahkan satu sumber gudang data melalui pemasukan UI.
- Masukkan metadata dbt atau orkestrasi untuk silsilah.
- Tambahkan pemilik ke 5–10 dataset utama.
- Tulis deskripsi ringkas (2–3 kalimat setiap).
- Buat 3 istilah glosarium dan 4–6 tag.
- Tag 5 dataset sebagai emas, dan sembunyikan yang sudah usang.
- Tetapkan satu kebijakan editor untuk stewards.
- Jadwalkan pemasukan harian.
- Demonstrasikan UI ke 2 tim pemangku kepentingan dan kumpulkan umpan balik.
Apa Selanjutnya?
- Skala ke Kubernetes atau lingkungan terkelola.
- Luncurkan SSO dan grup untuk tata kelola.
- Perluas pemasukan ke BI dan aliran acara.
- Bangun kartu skor untuk kualitas data dan kelengkapan dokumentasi.
- Berintegrasi dengan CI/CD sehingga perubahan skema selalu tercermin dalam katalog.
Kesimpulan Akhir
- Mulai dari yang kecil, kirim nilai dengan cepat, dan ulangi.
- Gunakan pemasukan UI untuk kecepatan; CLI untuk pengulangan.
- Lapisi glosarium, tag, dan kebijakan sejak awal untuk meningkatkan kepercayaan.
- Hubungkan gudang data + dbt + BI untuk silsilah lengkap.
- Perlakukan dokumentasi sebagai bagian dari pengembangan, bukan renungan.
FAQ
Q1:Apa itu DataHub dan mengapa saya harus menggunakannya?
DataHub adalah platform metadata sumber terbuka untuk penemuan, silsilah, dan tata kelola di seluruh tumpukan data Anda. Ini membantu tim menemukan dataset tepercaya, memahami dampak, dan menstandarkan dokumentasi. Pelajari dasar-dasarnya dalam pengantar resmi.
Q2:Bagaimana cara menginstal DataHub dengan cepat?
Gunakan mulai cepat: instal Docker, instal CLI, lalu mulai dengan satu perintah. Anda dapat mengakses UI secara lokal dan masuk dengan default untuk memvalidasi penyiapan dengan cepat.
Q3:Haruskah saya menggunakan pemasukan UI atau pemasukan CLI di DataHub?
Gunakan pemasukan berbasis UI untuk memulai dengan cepat atau melibatkan non-insinyur; ini bagus untuk konektivitas dan demo pertama kali. Beralih ke pemasukan CLI untuk resep versi, otomatisasi, dan integrasi CI/CD.
Q4:Bagaimana cara menampilkan silsilah di DataHub?
Masukkan dari beberapa sumber: gudang data Anda (misalnya, Snowflake), lapisan transformasi Anda (misalnya, dbt), dan orkestrasi (misalnya, Airflow). Silsilah muncul saat DataHub menghubungkan bagian-bagian ini.
Q5:Fitur tata kelola apa yang harus saya aktifkan terlebih dahulu di DataHub?
Mulailah dengan kepemilikan, deskripsi ringkas, glosarium kecil, dan tag yang konsisten seperti gold, pii, dan deprecated. Kemudian tambahkan kebijakan untuk mengontrol siapa yang dapat mengedit aset penting dan menjadwalkan pemasukan reguler.
