Vai esat gatavs pārvērst datu izplešanos skaidrībā? DataHub — atvērtā koda metadatu platforma, kas sākotnēji tika izveidota LinkedIn — palīdz komandām atklāt, uzticēties un pārvaldīt datus datu noliktavās, BI rīkos, orķestrācijas sistēmās un citur. Šajā praktiskajā, soli pa solim sniegtajā rokasgrāmatā jūs no nulles nonāksiet pie strādājošas DataHub instances, iegūsiet metadatus, izpētīsiet izcelsmi un iestatīsiet pārvaldību, neapjukot žargonā.
Ko jūs uzzināsiet īsumā:
- Dažu minūšu laikā lokāli palaidiet DataHub
- Iegūstiet metadatus no izplatītiem avotiem (piemēram, Snowflake, BigQuery, dbt)
- Izpētiet meklēšanu, izcelsmi, īpašumtiesības un dokumentāciju lietotāja saskarnē
- Definējiet politikas, tagus un terminus pārvaldībai
- Ieviesiet komandas procesus, kas patiešām darbojas
Piezīme: Šis ir praktisks un uz risinājumiem orientēts ceļvedis, kas paredzēts reālu darbplūsmu kartēšanai. Mēs citēsim oficiālos dokumentus, lai sniegtu sīkāku informāciju un padziļinātu izpēti, kad tas būs nepieciešams.
- Ātrā startēšana: iegūstiet DataHub, kas darbojas lokāli
Ja jūs eksperimentējat vai izmēģināt DataHub, ātrākais ceļš ir ātrā startēšana. Vispirms pārliecinieties, vai ir instalēts Docker. Pēc tam:
- Palaidiet ar vienu komandu
- Atveriet lietotāja saskarni un piesakieties ar noklusējuma iestatījumiem
Oficiālā informācija par ātro startēšanu, komandas un noklusējuma iestatījumi ir pieejami šeit. Ievadā ir paskaidrota arhitektūra un tas, kāpēc DataHub izmanto reāllaika metadatu modeli (entītijas, aspekti un straumēšanas atjauninājumi), kas piemērots moderniem datu apstrādes komplektiem.
Viedi iestatīšanas padomi:
- Sāciet lokāli, pat ja plānojat vēlāk pāriet uz Kubernetes. Tas ir ātrāk, lai panāktu piekrišanu un demonstrācijas.
- Ja jums jau ir Docker Desktop, jūs parasti varat sākt darbu dažu minūšu laikā.
- Glabājiet akreditācijas datus drošībā — pat smilšu kastē. Tagad izveidotie ieradumi atmaksāsies vēlāk.
- Izprotiet pamatjēdzienus 5 minūtēs
Pirms kaut ko iegūstat, iepazīstieties ar DataHub mentālo modeli:
- Entītijas: tādas lietas kā datu kopas, tabulas, diagrammas, informācijas paneļi, cauruļvadi, lietotāji.
- Aspekti: Versijotas metadatu "šķautnes" par entītijām (shēma, īpašumtiesības, tagi, glosārija termini, izcelsme).
- Grafs: Attiecības (izcelsme, īpašumtiesības, atkarības) nodrošina meklēšanas un atklāšanas pieredzi.
Šī uz grafiem balstītā pieeja nodrošina tādas funkcijas kā ietekmes analīze (kas sabojāsies, ja mēs mainīsim šo kolonnu?), lejupējas izcelsmes kartēšana un uzticamības signāli (īpašnieki, tagi, dokumentācija). Īss konceptuāls pārskats ir ievada rokasgrāmatā.
- Iegūstiet metadatus: lietotāja saskarne pret CLI (izvēlieties savu ceļu)
DataHub atbalsta gan lietotājam draudzīgu lietotāja saskarnes iegūšanu, gan skriptējamus CLI cauruļvadus. Izvēlieties to, kas atbilst jūsu darbplūsmai šodien — daudzas komandas izmanto abus.
A variants: uz lietotāja saskarni balstīta iegūšana (ātri pirmajiem palaišanas gadījumiem)
- Lietotāja saskarnē dodieties uz Iegūšana → Jauns avots.
- Izvēlieties avotu (piemēram, Snowflake, BigQuery, dbt, Kafka, Looker, Tableau).
- Ievadiet savienojuma informāciju.
- Ieplānojiet vai palaidiet iegūšanu pēc pieprasījuma.
Lietotāja saskarnes plūsma un soļi ir aprakstīti šeit. Tas ir ideāli piemērots personām, kas nav inženieri, vai komandām, kas vēlas ātri apstiprināt savienojamību.
B variants: uz CLI balstīta iegūšana (atkārtojama un CI draudzīga)
- Izveidojiet YAML recepti, kas definē jūsu avotu, filtrus un kartēšanu.
- Palaidiet: datahub ingest -c recipe.yml
- Iesniedziet recepti versiju kontrolei, lai nodrošinātu atkārtojamību.
CLI iegūšana un receptes ir detalizēti dokumentētas šeit. Šī pieeja ir labāka izstrādes/ražošanas cauruļvadiem, automatizācijai un konsekvencei.
Profesionāli padomi iegūšanai:
- Sāciet ar vienu vai diviem avotiem, kas ir vissvarīgākie (piemēram, Snowflake + dbt). Ātri panākumi veicina virzību.
- Filtrējiet agresīvi. Neiegūstiet katru smilšu kastes datu kopu pirmajā dienā; tas rada troksni.
- Pievienojiet platformas instances nosaukumus (piemēram, snowflake:prod pret snowflake:dev), lai izvairītos no neskaidrībām.
- Izpētiet lietotāja saskarni: meklēšana, izcelsme un īpašumtiesības
Pēc pirmās iegūšanas pabeigšanas pārejiet uz lietotāja saskarni, lai ātri apstiprinātu vērtību:
- Universālā meklēšana: atrodiet datu kopas, informācijas paneļus un cauruļvadus pēc nosaukuma, shēmas, tagiem vai glosārija terminiem.
- Izcelsmes grafs: noklikšķiniet uz datu kopas, lai redzētu augšupējus un lejupējus savienojumus. Tas ir zelts ietekmes analīzei.
- Īpašumtiesības un dokumentācija: pievienojiet īpašniekus (komandas vai lietotājus) un rakstiet skaidrus aprakstus. Šie ir pirmie uzticamības signāli, ko jūsu organizācija sajutīs.
- Shēma un profilēšana: pārskatiet kolonnu nosaukumus, veidus un paraugu statistiku. Savlaicīgi pamanāt anomālijas.
- Pievienojiet nozīmi: glosārijs, tagi un domēni
Neapstrādāti metadati ir tikai sākums. Jūs atbloķēsiet reālu ieviešanu, pievienojot semantiku:
- Glosārija termini: definējiet uzņēmējdarbībai draudzīgus jēdzienus (klientu, ARR, aktīvais lietotājs). Pievienojiet datu kopām/kolonnām, lai standartizētu valodu.
- Tagi: viegli marķējumi (PII, kritiski, novecojuši, zelta). Ātras vizuālas norādes par risku un nozīmi.
- Domēni: grupējiet saistītus aktīvus pēc uzņēmējdarbības funkcijas (finanses, mārketings) vai platformas.
Ieteicamā pirmā taksonomija:
- Trīs glosārija termini, ko visi saprot (klientu, pasūtījums, ieņēmumi)
- Maza tagu kopa: pii, gold, deprecated, experimental
- 5–7 domēni, kas atbilst jūsu organizācijas shēmai vai datu platformām
- Pārvaldība, kas mērogojas: politikas un piekļuve
DataHub atbalsta uz lomām un aktīviem balstītas politikas, lai jūs varētu kontrolēt, kas ko var darīt (rediģēt dokumentāciju, pievienot tagus, pārvaldīt izcelsmi utt.). Sāciet vienkārši:
- Izveidojiet grupu "Pārziņi" ar rediģēšanas tiesībām uz dokumentiem, īpašumtiesībām un tagiem.
- Piešķiriet analītiķiem lasīšanas piekļuvi lielākajai daļai aktīvu, bet ierobežojiet sensitīvus domēnus.
- Pieprasiet īpašniekus "zelta" datu kopām, pirms tās parādās "Populārākajos ieteikumos".
Politikas un pārvaldība atrodas platformas iekšienē, tāpēc pieredze ir konsekventa redaktoriem un skatītājiem. Kad jūsu organizācija kļūst nobriedušāka, paplašiniet to ar detalizētākām atļaujām un apstiprināšanas plūsmām.
- Ekspluatācijas paraugprakse: panākiet, lai tas darbotos
Metadatu programmas neizdodas, ja tās šķiet kā papildu darbs. Padariet DataHub par daļu no normālas plūsmas:
- Iegult PR/CI: kad datu cauruļvadi mainās, palaidiet metadatu iegūšanu un salīdziniet shēmas atšķirības. Automātiski atzīmējiet izmaiņas, kas izraisa pārtraukumus.
- Saskaņojiet ar dbt: izmantojiet dbt dokumentus, testus un atklātības; parādiet tos DataHub, lai savienotu kodu ar uzņēmējdarbības kontekstu.
- Izveidojiet "Ieviešanas rokasgrāmatu": īpašnieki pievieno dokumentus, tagus un glosārija terminus ieviešanas laikā. Apbalvojiet kvalitāti, izmantojot rādītājus.
- Publicējiet datu līgumu: galvenajām tabulām definējiet SLA, svaigumu, nullējumu un stabilitātes noteikumus. Parādiet to DataHub.
- No izmēģinājuma līdz ražošanai: kas mainās?
- Infrastruktūra: pārejiet no lokālā Docker uz pārvaldītu vidi (Kubernetes, mākoņpakalpojumi). Apsveriet mitinātu opciju, ja tāda ir pieejama jūsu organizācijā.
- Autentifikācija/SSO: integrējiet ar savu identitātes nodrošinātāju (Okta, Azure AD utt.).
- Novērojamība: uzraugiet iegūšanas darbus, grafu lielumu un lietotāja saskarnes veiktspēju.
- Izmaiņu pārvaldība: izveidojiet metadatu pārskatīšanas kadenci (piemēram, iknedēļas pārvaldības sinhronizāciju).
- Problēmu novēršana: izplatītas kļūdas un labojumi
- "Es neredzu savas tabulas." Pārbaudiet tīkla noteikumus, akreditācijas datus un avotu filtrus. Palaidiet minimālu iegūšanas recepti, lai izolētu problēmu.
- "Izcelsme ir nepilnīga." Pārliecinieties, vai esat ieguvis no orķestrācijas (Airflow), transformācijas (dbt) un noliktavas avotiem. Izcelsmei bieži vien ir nepieciešami vairāki savienotāji.
- "Meklēšana šķiet pārāk pārblīvēta." Pastipriniet filtrus, pievienojiet tagus/glosāriju un paslēpiet novecojušus aktīvus.
- "Dokumenti ir novecojuši." Ieplānojiet regulāru iegūšanu; mudiniet īpašniekus atjaunināt aprakstus līdztekus koda izmaiņām.
- Piemērs: ātrs ceļš uz vērtību 48 stundās
1. diena
- Palaidiet DataHub lokāli, izmantojot ātro startēšanu.
- Iegūstiet no savas noliktavas (Snowflake/BigQuery), izmantojot lietotāja saskarnes iegūšanu.
- Pievienojiet īpašniekus un aprakstus piecām kritiskām datu kopām.
- Izveidojiet glosārija terminus klientam un ieņēmumiem; atzīmējiet šīs datu kopas kā zelta.
2. diena
- Iegūstiet dbt metadatus, lai savienotu modeļus ar tabulām.
- Apstipriniet izcelsmi starp iegūšanu → transformāciju → BI.
- Izveidojiet politiku, kas paredz, ka tikai pārziņi var mainīt zelta datu kopas dokumentus.
- Demonstrējiet izcelsmes skatu un meklēšanas pieredzi ieinteresētajām personām; vāciet atsauksmes.
Galvenās atsauces
- Ātrā startēšana: lokāla iestatīšana, akreditācijas dati, porti, komandas
- Jēdzienu un arhitektūras pārskats
- Uz lietotāja saskarni balstīti iegūšanas soļi
- CLI iegūšana un YAML receptes
Kur Sider.AI var palīdzēt
Ja jūsu komanda bieži pēta paraugpraksi, raksta datu kopu dokumentus vai tai ir nepieciešami viegli uztverami izcelsmes un shēmas izmaiņu kopsavilkumi, ir vērts atzīmēt, ka Sider.AI var paātrināt dokumentāciju un zināšanu apmaiņu. Piemēram, jūs varat pārvērst blīvas shēmas atšķirības cilvēkiem lasāmos izmaiņu žurnālos vai ģenerēt datu kopu aprakstus, kurus pārziņi precizē, samazinot laiku no neapstrādātiem metadatiem līdz izmantojamam kontekstam. Špikeris: jūsu pirmās 10 darbības
- Palaidiet DataHub lokāli, izmantojot ātro startēšanu.
- Pievienojiet vienu noliktavas avotu, izmantojot lietotāja saskarnes iegūšanu.
- Iegūstiet dbt vai orķestrācijas metadatus izcelsmei.
- Pievienojiet īpašniekus 5–10 galvenajām datu kopām.
- Rakstiet kodolīgus aprakstus (2–3 teikumi katram).
- Izveidojiet 3 glosārija terminus un 4–6 tagus.
- Atzīmējiet 5 datu kopas kā zelta un paslēpiet novecojušās.
- Iestatiet vienu redaktora politiku pārziņiem.
- Ieplānojiet ikdienas iegūšanu.
- Demonstrējiet lietotāja saskarni 2 ieinteresēto personu komandām un vāciet atsauksmes.
Kas tālāk?
- Mērogojiet līdz Kubernetes vai pārvaldītai videi.
- Ieviesiet SSO un grupas pārvaldībai.
- Paplašiniet iegūšanu līdz BI un notikumu straumēm.
- Izveidojiet rādītājus datu kvalitātei un dokumentācijas pilnībai.
- Integrējiet ar CI/CD, lai shēmas izmaiņas vienmēr tiktu atspoguļotas katalogā.
Galvenie secinājumi
- Sāciet ar mazumiņu, ātri nodrošiniet vērtību un atkārtojiet.
- Izmantojiet lietotāja saskarnes iegūšanu ātrumam; CLI atkārtojamībai.
- Savlaicīgi pievienojiet glosāriju, tagus un politikas, lai palielinātu uzticību.
- Savienojiet noliktavu + dbt + BI, lai iegūtu pilnīgu izcelsmi.
- Uztveriet dokumentāciju kā daļu no izstrādes, nevis kā pēcapstrādi.
BUJ
1. jautājums: kas ir DataHub un kāpēc man to vajadzētu izmantot?
DataHub ir atvērtā koda metadatu platforma atklāšanai, izcelsmei un pārvaldībai visā jūsu datu apstrādes komplektā. Tas palīdz komandām atrast uzticamas datu kopas, saprast ietekmi un standartizēt dokumentāciju. Uzziniet pamatus oficiālajā ievadā.
2. jautājums: kā es varu ātri instalēt DataHub?
Izmantojiet ātro startēšanu: instalējiet Docker, instalējiet CLI un pēc tam sāciet ar vienu komandu. Jūs varat piekļūt lietotāja saskarnei lokāli un pieteikties ar noklusējuma iestatījumiem, lai ātri apstiprinātu iestatīšanu.
3. jautājums: vai man DataHub jāizmanto lietotāja saskarnes iegūšana vai CLI iegūšana?
Izmantojiet uz lietotāja saskarni balstītu iegūšanu, lai ātri sāktu darbu vai iesaistītu personas, kas nav inženieri; tas ir lieliski piemērots pirmajai savienojamībai un demonstrācijām. Pārejiet uz CLI iegūšanu, lai iegūtu versiju receptes, automatizāciju un CI/CD integrāciju.
4. jautājums: kā panākt, lai DataHub parādītos izcelsme?
Iegūstiet no vairākiem avotiem: jūsu noliktavas (piemēram, Snowflake), jūsu transformācijas slāņa (piemēram, dbt) un orķestrācijas (piemēram, Airflow). Izcelsme parādās, kad DataHub savieno šos elementus.
5. jautājums: kādas pārvaldības funkcijas man vispirms vajadzētu iespējot DataHub?
Sāciet ar īpašumtiesībām, kodolīgiem aprakstiem, nelielu glosāriju un konsekventiem tagiem, piemēram, gold, pii un deprecated. Pēc tam pievienojiet politikas, lai kontrolētu, kas var rediģēt kritiskus aktīvus, un ieplānojiet regulāru iegūšanu.
