Vai esat kādreiz mēģinājis panākt, lai izklājlapas veiktu rūpnīcas konveijera lenti? Tā biju es pirms dažām vasarām, cenšoties savaldīt miljoniem žurnālfailu ar klēpjdatoru, kas vaidēja kā čivava negaisā. Tad kāds teica: "Vai esat mēģinājis izmantot Databricks?" Sekoja plates skrāpējums.
Ja vārdi "Spark", "klasteri" un "Delta Lake" liek jums bēgt kalnos, tad labas ziņas: Databricks lietošanai nav jājūtas kā raķešu pilotēšanai. Padomājiet par to kā par koplietošanas virtuvi datu apstrādes speciālistiem — šefpavāri (jūs un jūsu komanda) var atnest sastāvdaļas (datus), izmantot degļus (skaitļošanas klasterus) un sekot receptēm (piezīmju grāmatiņām), lai pagatavotu maltītes (analītiku, informācijas paneļus, mašīnmācīšanās modeļus), kas patiešām baro biznesu.
Šajā rokasgrāmatā mēs izveidosim jūsu darbvietu, palaidīsim jūsu pirmo klasteri, rakstīsim kodu piezīmju grāmatiņā, veiksim vaicājumus ar SQL, saglabāsim rezultātus Delta tabulās, plānosim darbus un izvairīsimies no divām klasiskām kļūdām: negaidītiem rēķiniem un noslēpumainām "kāpēc mans darbs neizdevās?" naktīm. Es saglabāšu lietas cilvēcīgas, praktiskas un godīgas — it kā mēs būtu divi kaimiņi, kas apmainās ar padomiem pāri žogam, izņemot to, ka žogs ir izgatavots no parquet failiem.
Kas īsti ir Databricks?</nPicture Databricks kā visaptverošu studiju lielo datu un mākslīgā intelekta jomā. Tas ietver Apache Spark draudzīgā saskarnē, pievieno sadarbības piezīmju grāmatiņas, pārvalda datus ar Delta Lake (īpaši jaudīgu tabulas formātu) un nodrošina pārvaldības rīkus, lai jūs nejauši neatstātu datu krānu atvērtu visu nakti. Varat rakstīt Python, SQL, Scala vai R; kombinēt un saskaņot; un uzaicināt komandas biedrus strādāt tajās pašās piezīmju grāmatiņās, nespiežot vienam otru.
Jūsu mentālais modelis
- Darbvieta: jūsu projekta galvenā mītne — lietotāji, piezīmju grāmatiņas, repozitoriji, darbi.
- Skaitļošana: Klasteri (piezīmju grāmatiņām un darbiem) un SQL datu noliktavas (BI/SQL vaicājumiem).
- Krātuve: jūsu mākoņdati (S3/ADLS/GCS). Databricks pievieno draudzīgu katalogu ar tabulām, kuras varat vaicāt.
- Pārvaldība: piekļuves kontroles un Unity katalogs, lai pareizie cilvēki redzētu pareizos datus.
- Cauruļvadi: Delta Live Tables datu inženierijai; Darbi, lai plānotu lietas; MLflow eksperimentiem un modeļiem.
1. darbība: Izveidojiet vai pievienojieties darbvietai
Ja jūsu uzņēmumam jau ir Databricks, jūs saņemsiet uzaicinājumu. Pretējā gadījumā reģistrējieties izmēģinājuma versijai (mākonis pēc jūsu izvēles) un izveidojiet darbvietu. Jūs nonāksiet tīrā, kreisās puses sānu joslas saskarnē. Nezaudējiet dūšu iespēju dēļ — mēs sāksim tikai ar trim: Darbvieta, Skaitļošana un Dati.
2. darbība: Palaidiet savu pirmo klasteri (motora pārsegu)</nA klasteris ir tikai mākoņu mašīnu grupa, ko Databricks sāk jūsu vietā.
- Noklikšķiniet uz Compute → New Cluster.
- Izvēlieties klastera režīmu (sāciet ar Single user vai Shared testēšanai).
- Izvēlieties mazu instances veidu, lai saglabātu izmaksas draudzīgas.
- Ieslēdziet automātisko izbeigšanu (piemēram, 15–30 minūtes). Tas ir "gaismas izslēgšanas" taimeris mākonim.
- Izveidot. Pagaidiet minūti vai divas; jūs redzēsiet zaļu "Running".
Pogue padoms: nosauciet savu klasteri kaut ko acīmredzamu ("dev-pogue-15min-autoterm"). Nākotnes jūs jums pateiksies.
3. darbība: atveriet piezīmju grāmatiņu (savu "darbagaldu")
- Darbvieta → Jauns → Piezīmju grāmatiņa.
- Izvēlieties valodu. Python ir ērts sākumpunkts; jūs joprojām varat palaist SQL ar burvju komandām.
- Pievienojiet piezīmju grāmatiņu savam darbojošamies klasterim (nolaižamā izvēlne augšpusē).
Izmēģiniet savu pirmo šūnu:
print("Hello, Databricks!")
Pēc tam izmēģiniet Spark teaser:
spark.range(5).show
Apsveicam, jūs tikko palaidāt sadalīto skaitļošanas dzinēju, lai skaitītu līdz pieciem. Jūs oficiāli esat datu vednis.
4. darbība: Ienesiet datus ("sastāvdaļu plaukts")
Varat importēt failus, izveidot savienojumu ar objektu krātuvi vai vaicāt esošās tabulas.
- Sānjoslā noklikšķiniet uz Dati. Jūs redzēsiet katalogus un shēmas (mapes tabulām) un iespējas pievienot datus.
- Ja jums ir CSV fails, augšupielādējiet to ātrai pārbaudei. Databricks var secināt shēmu.
Python izmantošana, lai lasītu CSV mākoņkrātuvē:
df = spark.read.option("header", True).csv("/mnt/my-bucket/sales.csv")
df.printSchema
df.limit(10).display
Šī displeja funkcija ir Databricks burvība: ērta kārtošana, filtrēšana un diagrammu veidošana vienā mirklī.
5. darbība: Saglabājiet savus rezultātus kā Delta tabulas (kāpēc Delta?)
Delta tabulas ir kā izklājlapas ar superspējām: tās saglabā transakciju garantijas ("ACID"), seko versijām un padara atjauninājumus/ieliktņus/apvienošanas veselīgus.
df.write.mode("overwrite").format("delta").saveAsTable("analytics.sales_clean")
Tagad jūs varat vaicāt ar SQL:
-- Pārslēdziet savu šūnu uz SQL ar %%sql
%%sql
SELECT product, SUM(amount) AS total
FROM analytics.sales_clean
GROUP BY product
ORDER BY total DESC
Vai vēlaties auditam draudzīgus datus ar versijām? Jūs varat ceļot laikā:
%%sql
SELECT * FROM analytics.sales_clean VERSION AS OF 2
6. darbība: Sadraudzējieties ar SQL datu noliktavām (BI ļaudīm)
Ja jūs galvenokārt veidojat informācijas paneļus un biznesa jautājumus, izveidojiet SQL datu noliktavu (Compute → SQL Warehouses). Tas ir kā vieglāks dzinējs, kas noregulēts SQL.
- Savienojiet savu BI rīku (Power BI, Tableau vai Databricks SQL Dashboard).
- Izveidojiet informācijas paneli: vizualizācijas, filtri, atsvaidzināšanas grafiki.
7. darbība: Cauruļvadi ar Delta Live Tables (no "manuāla" uz "automātisku")
Ja jums ir atkārtojamas transformācijas — "notīriet neapstrādātos pārdošanas apjomus, pievienojiet produktu metadatus, apkopojiet pa nedēļām" — Delta Live Tables (DLT) pārvērš to par pārvaldītu cauruļvadu ar pārbaudēm un izcelsmi.
Neliels SQL DLT piemērs:
CREATE OR REFRESH LIVE TABLE sales_clean AS
SELECT * FROM cloud_files('/mnt/data/sales_raw', 'csv');
CREATE OR REFRESH LIVE TABLE weekly_sales AS
SELECT product, weekofyear(date) AS week,
SUM(amount) AS weekly_total
FROM LIVE.sales_clean
GROUP BY product, week;
- DLT apstrādā uzraudzību, atkārtotus mēģinājumus un datu kvalitātes noteikumus.
- Pievienojiet cerības (piemēram, "amount >= 0"), lai slikti dati neizdotos skaļi, nevis klusi sabotētu jūsu ceturksni.
8. darbība: ieplānojiet to ar darbiem (jo jums patīk gulēt)
- Atlasiet savu piezīmju grāmatiņu, iestatiet grafiku (piemēram, plkst. 2:00 katru dienu), izvēlieties mazu darba klasteri.
- Pievienojiet e-pasta vai Slack brīdinājumus par kļūmēm.
Bonuss: parametrizējiet piezīmju grāmatiņas, lai viens un tas pats kods darbotos izstrādei/testēšanai/ražošanai ar dažādām ievadēm.
9. darbība: Atļaujas un pārvaldība bez asarām
Datu piekļuves kontrole ir svarīga. Izmantojiet iebūvētās kataloga atļaujas, lai nodrošinātu pareizus lasītājus, rakstītājus un īpašniekus. Ja jūsu organizācija izmanto centralizētu metakrātuvi, jūs saskarsities ar Unity katalogu: tas standartizē nosaukumus, piemēram, catalog.schema.table, un nodrošina labākus auditus un detalizētu kontroli.
Pogue padoms: sāciet vienkārši — viens katalogs analītikai, viens smilšu kastei — un nosauciet lietas skaidri. Nākotnes analītiķi jums nopirks kafiju.
10. darbība: Izmaksu kontrole ("nesaņemiet negaidītu rēķinu" sadaļa)
- Izpētot, izmantojiet mazas instances pēc noklusējuma.
- Vienmēr iespējojiet automātisko izbeigšanu izstrādes klasteros.
- Ieplānotiem uzdevumiem dodiet priekšroku darba klasteriem (ieslēdziet, palaidiet, izslēdziet).
- Kešatmiņu viedi: nesaglabājiet milzīgus DataFrames, ja vien tie nav jāizmanto atkārtoti.
- Vērojiet lietotāja interfeisa izmaksu metriku un iestatiet budžetus/brīdinājumus savā mākoņpakalpojumu sniedzējā.
Diena no dzīves: ātra demonstrācija
Pieņemsim, ka jūsu priekšnieks jautā: "Kuras produktu līnijas šajā ceturksnī auga visstraujāk?" Šeit ir Databricks plūsma:
- Izveidojiet piezīmju grāmatiņu, pievienojiet izstrādes klasteri.
- Ievadiet pārdošanas un produktu metadatus (CSV mākoņkrātuvē).
- Notīriet: piemērojiet shēmas, nometiet nulles, labojiet datumu formātus.
- Rakstiet tīrus datus uz Delta.
- SQL, lai aprēķinātu ceturkšņa pieaugumu.
- Vizualizējiet piezīmju grāmatiņā; pēc tam publicējiet informācijas paneli priekšniekam.
- Ietiniet piezīmju grāmatiņu darbā, lai to atsvaidzinātu katru rītu.
Traucējummeklēšanas stūris (jo tas notiek)
- Klasteris nevar startēt: pārbaudiet savu kvotu/instances veidu; izmēģiniet mazāku VM; apstipriniet atļaujas.
- Datus nevar nolasīt: pārbaudiet ceļu un akreditācijas datus; izmēģiniet nelielu paraugu; pārbaudiet secināto shēmu.
- Darbs nepārtraukti neizdodas: pievienojiet reģistrēšanu (printēšanas paziņojumus, displeju), samaziniet paralēlismu un validējiet ievades.
- Rezultāti izskatās "izslēgti": Laika joslas! Viņi ir viltīgi. Raidiet laika zīmogus, iestatiet noklusējuma laika joslu un dokumentējiet pieņēmumus.
Sadarbība: strādājiet kā grupa, nevis soloizrāde
- Izmantojiet Repos, lai sinhronizētu piezīmju grāmatiņas ar Git. Iesniedziet agri, iesniedziet bieži.
- Komentējiet tieši piezīmju grāmatiņas šūnās. Saglabājiet šūnu "Vispirms izlasiet mani" augšpusē ar instrukcijām.
- Izveidojiet mazas, saliekamas piezīmju grāmatiņas (ievadiet, pārveidojiet, analizējiet), lai komandas biedri varētu iesaistīties, neveicot spelunking.
Python? SQL? Abi.
Varat sajaukt valodas vienā piezīmju grāmatiņā. Piemēram, prototipējiet savu loģiku SQL (ātra iterācija), pēc tam pārslēdzieties uz Python specializētām bibliotēkām (prognozēšana, NLP). Izmantojiet UDF taupīgi — vietējās Spark funkcijas ir ātrākas un draudzīgākas mērogošanai.
Veiktspēja: trīs sviras
- Iedaļas: izlaidiet siena kaudzi, lasiet tikai adatas. Sadaliet Delta tabulas pa bieži filtrētām kolonnām (datums, reģions).
- Failu izmēri: sīki faili ir kā mirdzumi — visur un kaitinoši. Izmantojiet optimizētu rakstīšanu/automātisku optimizāciju, lai apvienotu mazus failus apjomīgos, efektīvos failos.
- Kešatmiņa un apraides savienojumi: kešatmiņā atkārtoti izmantotos DataFrames; apraidiet mazo tabulu lielos savienojumos, lai izvairītos no sajaukšanas.
Drošības pamati, kas jums būs nepieciešami otrajā dienā
- Glabājiet noslēpumus pārvaldītā slepenā darbības jomā; nekad nekodējiet atslēgas.
- Bloķējiet ražošanas tabulas ar vismazāk privilēģiju piešķiršanu.
- Izmantojiet audita žurnālus, lai redzētu, kurš ko mainījis, kad.
No knibināšanās līdz ražošanai: reāls ceļš
- 1. nedēļa: izpētiet ar piezīmju grāmatiņām un nelielu klasteri. Saglabājiet pirmās Delta tabulas. Dalieties ar uzvarām.
- 2. nedēļa: izveidojiet DLT cauruļvadu savām atkārtotajām transformācijām. Pievienojiet datu kvalitātes pārbaudes.
- 3. nedēļa: ietiniet piezīmju grāmatiņas darbos, pievienojiet brīdinājumus un savienojiet informācijas paneļus ar SQL datu noliktavu.
- 4. nedēļa: pārvietojiet noslēpumus uz glabātuvi, sakārtojiet atļaujas, iestatiet nosaukumu konvencijas un dokumentējiet visu.
Bieži sastopami mīti, kas tiek maigi atspēkoti
- "Databricks ir paredzēts tikai Spark guru." Vairs nē. SQL datu noliktavas un lietotāja interfeisa palīgi nozīmē, ka analītiķi var plaukt un zelt, nerakstot nevienu Scala rindiņu.
- "Tas būs dārgi." Tas var būt — ja visu nedēļas nogali atstājat ieslēgtus stadiona apgaismojumus. Ar automātisku izbeigšanu un maziem darba klasteriem jūs varat saglabāt izmaksas pieņemamas.
- "Versiju pārvaldība ir galvassāpes." Delta laika ceļojumi un tabulas vēsture padara atcelšanu un auditus atsvaidzinoši ikdienišķus.
Īss vārds par noderīgiem palīgiem
Ja jūs kādreiz atrodaties iestrēdzis, rakstot standarta Spark kodu, paskaidrojot savu piezīmju grāmatiņu… sev vai pārvēršot aptuvenu rezultātu par glītu kopsavilkumu, vieds līdzpilots var ietaupīt stundas. Rīki, piemēram, Sider.AI, var atrasties jūsu pārlūkprogrammā kā draudzīgs tērzēšanas lodziņš, palīdzēt jums izstrādāt PySpark šūnu, pārveidot neveiklu savienojumu vai pārvērst jūsu piezīmju grāmatiņas izvadi lasāmā brīfingā jūsu priekšniekam. Šeit ir triks: uzdodiet konkrētus, pamatotus jautājumus ("Rakstiet PySpark apvienošanu Delta tabulā ar augšupielādes loģiku šai shēmai...") un ielīmējiet nelielu, reprezentatīvu savas shēmas paraugu, lai ieteikums būtu precīzs. Ja mēģināt likt tam visu uzminēt, jūs abi beigsiet raustīt plecus. Jūsu pirmā nedēļa: mini rokasgrāmata
1. diena: izveidojiet darbvietas pieteikšanos. Sāciet nelielu izstrādes klasteri ar automātisku izbeigšanu.
2. diena: importējiet nelielu CSV. Izpētiet ar displeju. Saglabājiet Delta tabulu.
3. diena: izveidojiet vienkāršu piezīmju grāmatiņas cauruļvadu: neapstrādāts → tīrs → apkopots. Pievienojiet komentārus.
4. diena: pārslēdzieties uz SQL, lai validētu rezultātus. Izveidojiet nelielu informācijas paneli.
5. diena: izveidojiet darbu, lai to atsvaidzinātu katru dienu. Izslēdziet klasteri, dodieties mājās laikā.
Špikeris: komandas, kuras jūs faktiski izmantosit
- Lasīt CSV/Parquet: spark.read.option("header", True).csv(path) / spark.read.parquet(path)
- Rakstīt Delta tabulu: df.write.format("delta").mode("append").saveAsTable("catalog.schema.table")
- SQL šūna: %%sql, kam seko jūsu vaicājums
- Apvienot (augšupielādēt) modeli SQL:
MERGE INTO target t
USING source s
ON t.id = s.id
WHEN MATCHED THEN UPDATE SET *
WHEN NOT MATCHED THEN INSERT *;
- Autoloader (pakāpeniska uzņemšana) Python:
df = (spark.readStream
.format("cloudFiles")
.option("cloudFiles.format", "json")
.load("/mnt/raw/events"))
df.writeStream.format("delta").option("checkpointLocation","/mnt/chk").start("/mnt/delta/events")
Kad pārslēgties no piezīmju grāmatiņām uz cauruļvadiem
- Ja katru dienu palaižat vienu un to pašu piezīmju grāmatiņu, pārvietojiet to darbā.
- Ja savienojat trīs vai vairāk piezīmju grāmatiņas, apsveriet DLT — tas vienkāršo atkarības un pievieno datu kvalitātes noteikumus.
- Ja vairākas komandas ir atkarīgas no izvades, paaugstiniet to uz pārvaldītu katalogu ar skaidriem SLA.
Viena pēdējā lieta (Pogue datu gravitācijas likums)
Datiem ir gravitācija. To ir grūti pārvietot un dārgi slinging apkārt. Databricks darbojas vislabāk, ja jūs nogādājat skaitļošanu datos, saglabājat savas tabulas kārtīgas (Delta) un automatizējat garlaicīgos bitus. Sāciet mazs, atzīmējiet visu un iestatiet šos automātiskās izbeigšanas taimerus tā, it kā jūsu mākoņrēķins būtu atkarīgs no tā — jo tas tā ir.
Galvenie secinājumi
- Sāciet ar nelielu klasteri un automātisku izbeigšanu.
- Izmantojiet piezīmju grāmatiņas, lai izpētītu; saglabājiet tīrus rezultātus kā Delta tabulas.
- Atkārtojamām transformācijām izmantojiet DLT un plānojiet ar darbiem.
- Dalieties ar ieskatiem, izmantojot SQL datu noliktavas un informācijas paneļus.
- Bloķējiet atļaujas un noslēpumus agri; dokumentējiet, kad dodaties.
- Paļaujieties uz līdzpilotu, kad jums ir nepieciešams grūdiens, bet saglabājiet savus uzvednes konkrētus.
Ja varat saskaitīt līdz pieciem ar spark.range(5).show, varat izveidot kaut ko noderīgu Databricks. Un, tiklīdz jūsu nakts darbs darbojas, neizsaucot jūs plkst. 2:00, jūs zināt, ka esat iekļuvis šajā retajā un skaistajā teritorijā, kas pazīstama kā "dati, kas uzvedas".
BUJ
Q1: Kāds ir ātrākais veids, kā sākt izmantot Databricks kā iesācējam?
Izveidojiet nelielu klasteri ar automātisku izbeigšanu, atveriet piezīmju grāmatiņu un ielādējiet nelielu CSV ar displeju, lai to izpētītu. Saglabājiet savus tīros rezultātus kā Delta tabulu un izmēģiniet vienkāršu SQL vaicājumu — tas sniedz jums reālas uzvaras pirmajā dienā, neapjukot progresīvajās funkcijās.
Q2: Vai man savam cauruļvadam jāizmanto piezīmju grāmatiņas vai Delta Live Tables?
Sāciet ar piezīmju grāmatiņām, kamēr jūs saprotat lietas; tās ir lieliski piemērotas izpētei un ātrām uzvarām. Kad jūsu loģika stabilizējas un tai jādarbojas droši, pārslēdzieties uz Delta Live Tables, lai pārvaldītu atkarības, datu kvalitātes pārbaudes un atvieglotu uzraudzību.
Q3: Kā man kontrolēt Databricks izmaksas?
Izmantojiet mazas instances izstrādei, iespējojiet automātisku izbeigšanu un plānotiem braucieniem dodiet priekšroku darba klasteriem. Izvairieties no milzīgu DataFrames saglabāšanas, ja vien tas nav nepieciešams, un sekojiet līdzi izmaksu metrikai un mākoņbudžetiem, lai nekas nedarbotos visu nedēļas nogali.
Q4: Vai personas, kas nav kodētāji, var efektīvi izmantot Databricks?
Jā — SQL datu noliktavas un informācijas paneļi padara Databricks draudzīgu analītiķiem. Jūs varat rakstīt vienkāršu SQL, vizualizēt rezultātus un dalīties ar ieskatiem, nepieskaroties PySpark, pēc tam pieaicināt inženierus tikai tad, kad jums ir nepieciešamas smagākas transformācijas.
Q5: Kāda ir datu saglabāšanas priekšrocība Delta tabulās?
Delta tabulas nodrošina ACID transakcijas, versiju vēsturi (laika ceļojumus) un labāku veiktspēju. Tas nozīmē drošākus atjauninājumus, vieglākas atcelšanas, ja kaut kas noiet greizi, un ātrākus vaicājumus par tiem pašiem datiem.
