Ar kada bandėte skaičiuoklę paversti gamyklos konvejeriu? Aš taip dariau prieš keletą vasarų, bandydamas sutramdyti milijonus žurnalo failų su nešiojamuoju kompiuteriu, kuris cyptelėjo kaip čihuahua per perkūniją. Tada kažkas pasakė: „Ar bandėte „Databricks“? Įjungiamas plokštelės subraižymas.
Jei žodžiai „Spark“, „klasteriai“ ir „Delta Lake“ verčia jus bėgti į kalnus, yra gerų naujienų: naudoti „Databricks“ nebūtinai turi būti panašu į raketos pilotavimą. Pagalvokite apie tai kaip apie bendrą virtuvę duomenų žmonėms – virėjai (jūs ir jūsų komanda) gali atsinešti ingredientų (duomenų), naudoti degiklius (kompiuterinius klasterius) ir vadovautis receptais (bloknotais), kad pagamintų patiekalus (analitiką, informacijos suvestines, mašininio mokymosi modelius), kurie iš tikrųjų maitina verslą.
Šiame vadove nustatysime jūsų darbo sritį, paleisime pirmąjį klasterį, rašysime kodą bloknote, vykdysime užklausas su SQL, išsaugosime rezultatus „Delta“ lentelėse, suplanuosime užduotis ir išvengsime dviejų klasikinių nesusipratimų: netikėtų sąskaitų ir paslaptingų „kodėl mano užduotis nepavyko?“ naktų. Stengsiuosi, kad viskas būtų žmogiška, praktiška ir sąžininga – tarsi du kaimynai keistųsi patarimais per tvorą, išskyrus tai, kad tvora pagaminta iš „parquet“ failų.
Kas iš tikrųjų yra „Databricks“?
Įsivaizduokite „Databricks“ kaip „viskas viename“ studiją, skirtą dideliems duomenims ir AI. Ji apgaubia „Apache Spark“ draugiška sąsaja, prideda bendradarbiavimo bloknotus, valdo duomenis su „Delta Lake“ (itin galingu lentelės formatu) ir suteikia jums valdymo įrankius, kad netyčia nepaliktumėte duomenų čiaupo atidaryto per naktį. Galite rašyti „Python“, SQL, „Scala“ arba R; maišyti ir derinti; ir pakviesti komandos narius dirbti tuose pačiuose bloknotuose nestumdant vienas kito.
Jūsų mentalinis modelis
- Darbo sritis: Jūsų projekto būstinė – vartotojai, bloknotai, saugyklos, užduotys.
- Kompiuterija: Klasteriai (bloknotams ir užduotims) ir SQL duomenų saugyklos (BI/SQL užklausoms).
- Saugykla: Jūsų debesies duomenys (S3/ADLS/GCS). „Databricks“ prideda draugišką katalogą su lentelėmis, kurioms galite vykdyti užklausas.
- Valdymas: Prieigos kontrolė ir „Unity Catalog“, kad tinkami žmonės matytų tinkamus duomenis.
- Duomenų apdorojimo srautai: „Delta Live Tables“, skirti duomenų inžinerijai; Užduotys, skirtos suplanuoti dalykus; MLflow eksperimentams ir modeliams.
1 žingsnis: Sukurkite arba prisijunkite prie darbo srities
Jei jūsų įmonė jau turi „Databricks“, gausite kvietimą. Priešingu atveju užsiregistruokite bandomajai versijai (jūsų pasirinktas debesys) ir sukurkite darbo sritį. Atsidursite švarioje, kairėje šoninėje sąsajoje. Nepanikuokite dėl parinkčių – pradėsime tik nuo trijų: Darbo sritis, Kompiuterija ir Duomenys.
2 žingsnis: Paleiskite pirmąjį klasterį (variklį po gaubtu)
Klasteris yra tik krūva debesies mašinų, kurias „Databricks“ paleidžia jums.
- Spustelėkite Kompiuterija → Naujas klasteris.
- Pasirinkite klasterio režimą (pradėkite nuo Vieno vartotojo arba Bendro naudojimo testavimui).
- Pasirinkite mažą egzemplioriaus tipą, kad išlaidos būtų draugiškos.
- Įjunkite automatinį nutraukimą (pvz., 15–30 minučių). Tai yra „šviesos išjungimo“ laikmatis debesyje.
- Sukurkite. Palaukite minutę ar dvi; pamatysite žalią „Veikia“.
Pogue patarimas: Pavadinkite savo klasterį kažkaip akivaizdžiai („dev-pogue-15min-autoterm“). Ateityje sau padėkosite.
3 žingsnis: Atidarykite bloknotą (savo darbo stalą)
- Darbo sritis → Naujas → Bloknotas.
- Pasirinkite kalbą. „Python“ yra patogi atspirties taškas; vis tiek galite vykdyti SQL su stebuklingomis komandomis.
- Prijunkite bloknotą prie veikiančio klasterio (išskleidžiamasis meniu viršuje).
Išbandykite savo pirmąją celę:
print("Sveiki, Databricks!")
Tada išbandykite „Spark“ anonsą:
spark.range(5).show
Sveikiname, ką tik paleidote paskirstytojo skaičiavimo variklį, kad suskaičiuotumėte iki penkių. Jūs oficialiai esate duomenų burtininkas.
4 žingsnis: Įkelkite duomenis (ingredientų lentyną)
Galite importuoti failus, prisijungti prie objektų saugyklos arba vykdyti užklausas esamoms lentelėms.
- Šoninėje juostoje spustelėkite Duomenys. Pamatysite katalogus ir schemas (lentelių aplankus) ir parinktis pridėti duomenis.
- Jei turite CSV, įkelkite jį greitam testui. „Databricks“ gali nustatyti schemą.
Naudojant „Python“ CSV failui skaityti debesies saugykloje:
df = spark.read.option("header", True).csv("/mnt/my-bucket/sales.csv")
df.printSchema
df.limit(10).display
Ta rodymo funkcija yra „Databricks“ magija: lengvas rūšiavimas, filtravimas ir diagramų sudarymas akimirksniu.
5 žingsnis: Išsaugokite rezultatus kaip „Delta“ lenteles (kodėl „Delta“?)
„Delta“ lentelės yra tarsi skaičiuoklės su supergaliomis: jos išlaiko transakcijų garantijas („ACID“), seka versijas ir daro atnaujinimus / įterpimus / sujungimus pagrįstais.
df.write.mode("overwrite").format("delta").saveAsTable("analytics.sales_clean")
Dabar galite vykdyti užklausas su SQL:
-- Perjunkite savo celę į SQL su %%sql
%%sql
SELECT product, SUM(amount) AS total
FROM analytics.sales_clean
GROUP BY product
ORDER BY total DESC
Norite audito draugiškų, versijuotų duomenų? Galite keliauti laiku:
%%sql
SELECT * FROM analytics.sales_clean VERSION AS OF 2
6 žingsnis: Susidraugaukite su SQL duomenų saugyklomis (skirta BI žmonėms)
Jei daugiausia kuriate informacijos suvestines ir verslo klausimus, paleiskite SQL duomenų saugyklą (Kompiuterija → SQL duomenų saugyklos). Tai tarsi lengvesnis variklis, sureguliuotas SQL.
- Prijunkite savo BI įrankį (Power BI, Tableau arba Databricks SQL informacijos suvestinę).
- Sukurkite informacijos suvestinę: vizualizacijas, filtrus, atnaujinimo tvarkaraščius.
7 žingsnis: Duomenų apdorojimo srautai su „Delta Live Tables“ (nuo „rankinio“ iki „automatinio“)
Jei turite pasikartojančių transformacijų – „išvalykite neapdorotus pardavimus, sujungkite produkto metaduomenis, apibendrinkite pagal savaitę“ – „Delta Live Tables“ (DLT) paverčia tai valdomu duomenų apdorojimo srautu su patikrinimais ir kilme.
Mažas SQL DLT pavyzdys:
CREATE OR REFRESH LIVE TABLE sales_clean AS
SELECT * FROM cloud_files('/mnt/data/sales_raw', 'csv');
CREATE OR REFRESH LIVE TABLE weekly_sales AS
SELECT product, weekofyear(date) AS week,
SUM(amount) AS weekly_total
FROM LIVE.sales_clean
GROUP BY product, week;
- DLT tvarko stebėjimą, pakartotinius bandymus ir duomenų kokybės taisykles.
- Pridėkite lūkesčių (pvz., „amount >= 0“), kad blogi duomenys garsiai žlugtų, o ne tyliai sabotuotų jūsų ketvirtį.
8 žingsnis: Suplanuokite tai su Užduotimis (nes mėgstate miegoti)
- Užduotys → Kurti užduotį.
- Pasirinkite savo bloknotą, nustatykite tvarkaraštį (pvz., 2 val. ryto kasdien), pasirinkite mažą užduoties klasterį.
- Pridėkite įspėjimus el. paštu arba „Slack“ apie gedimus.
Premija: Parametrizuokite bloknotus, kad tas pats kodas veiktų kūrimo / testavimo / gamybos aplinkoje su skirtingais įvesties duomenimis.
9 žingsnis: Leidimai ir valdymas be ašarų
Duomenų prieigos kontrolė yra svarbi. Naudokite įmontuotus katalogo leidimus, kad užtikrintumėte tinkamus skaitytojus, rašytojus ir savininkus. Jei jūsų organizacija naudoja centralizuotą metaduomenų saugyklą, susidursite su „Unity Catalog“: ji standartizuoja pavadinimus, tokius kaip catalog.schema.table, ir suteikia jums geresnius auditus bei detalią kontrolę.
Pogue patarimas: Pradėkite paprastai – vienas katalogas analitikai, vienas – smėlio dėžei – ir aiškiai pavadinkite dalykus. Ateities analitikai nupirks jums kavos.
10 žingsnis: Išlaidų kontrolė (skyrius „negalima gauti netikėtos sąskaitos“)
- Naršydami naudokite mažus egzempliorius.
- Visada įjunkite automatinį nutraukimą kūrimo klasteriuose.
- Suplanuotoms užduotims teikite pirmenybę užduočių klasteriams (paleiskite, vykdykite, išjunkite).
- Talpinkite išmaniai: neišsaugokite didžiulių „DataFrame“, nebent jums reikia juos pakartotinai naudoti.
- Stebėkite vartotojo sąsajos išlaidų metriką ir nustatykite biudžetus / įspėjimus savo debesies paslaugų teikėju.
Diena iš gyvenimo: greitas demonstracinis pavyzdys
Tarkime, jūsų viršininkas klausia: „Kurios produktų linijos augo sparčiausiai šį ketvirtį?“ Štai „Databricks“ srautas:
- Sukurkite bloknotą, prijunkite kūrimo klasterį.
- Įkelkite pardavimų ir produkto metaduomenis (CSV debesies saugykloje).
- Išvalykite: įgyvendinkite schemas, numeskite nulinės reikšmės, pataisykite datos formatus.
- Įrašykite švarius duomenis į „Delta“.
- SQL, kad apskaičiuotumėte ketvirčio augimą.
- Vizualizuokite bloknote; tada paskelbkite informacijos suvestinę viršininkui.
- Apvyniokite bloknotą į Užduotį, kad atnaujintumėte kiekvieną rytą.
Trikčių šalinimo kampelis (nes taip nutinka)
- Klasteris nepasileidžia: Patikrinkite savo kvotą / egzemplioriaus tipą; išbandykite mažesnę VM; patvirtinkite leidimus.
- Duomenys nesiskaito: Patikrinkite kelią ir kredencialus; išbandykite mažą pavyzdį; patikrinkite nustatytą schemą.
- Užduotis nuolat nepavyksta: Pridėkite registravimą (spausdinimo teiginius, rodymą), sumažinkite paralelizavimą ir patvirtinkite įvesties duomenis.
- Rezultatai atrodo „išjungti“: Laiko zonos! Jie yra klastingi. Perkelkite laiko žymes, nustatykite numatytąją laiko zoną ir dokumentuokite prielaidas.
Bendradarbiavimas: dirbkite kaip grupė, o ne kaip solo pasirodymas
- Naudokite Saugyklas, kad sinchronizuotumėte bloknotus su Git. Įsipareigokite anksti, įsipareigokite dažnai.
- Komentuokite tiesiogiai bloknoto celėse. Viršuje laikykite „Perskaitykite pirmiausia“ celę su instrukcijomis.
- Kurkite mažus, sudedamus bloknotus (įkelkite, transformuokite, analizuokite), kad komandos nariai galėtų įšokti be speleologijos.
Python? SQL? Abu.
Galite maišyti kalbas viename bloknote. Pavyzdžiui, prototipą savo logikos SQL (greita iteracija), tada perjunkite į „Python“, kad naudotumėte specializuotas bibliotekas (prognozavimas, NLP). Naudokite UDF saikingai – gimtosios „Spark“ funkcijos yra greitesnės ir palankesnės mastelio keitimui.
Našumas: trys svirtys
- Skirsniai: Praleiskite šieno kupetą, skaitykite tik adatas. Padalinkite „Delta“ lenteles pagal dažnai filtruojamus stulpelius (datą, regioną).
- Failų dydžiai: Maži failai yra tarsi blizgučiai – visur ir erzina. Naudokite optimizuotus rašymus / automatinį optimizavimą, kad sujungtumėte mažus failus į stambius, efektyvius failus.
- Talpinimas ir transliavimo sujungimai: Talpinkite pakartotinai naudojamus „DataFrame“; transliuokite mažą lentelę dideliuose sujungimuose, kad išvengtumėte maišymo.
Saugos pagrindai, kurių norėsite antrą dieną
- Saugokite paslaptis valdomoje paslapčių srityje; niekada neįdėkite raktų į kodą.
- Užrakinkite gamybos lenteles su mažiausios privilegijos suteikimais.
- Naudokite audito žurnalus, kad pamatytumėte, kas ką pakeitė, kada.
Nuo žaidimo iki gamybos: realus kelias
- 1 savaitė: Naršykite su bloknotais ir mažu klasteriu. Išsaugokite pirmąsias „Delta“ lenteles. Pasidalykite laimėjimais.
- 2 savaitė: Sukurkite DLT duomenų apdorojimo srautą savo pasikartojančioms transformacijoms. Pridėkite duomenų kokybės patikrinimus.
- 3 savaitė: Apvyniokite bloknotus į Užduotis, pridėkite įspėjimus ir prijunkite informacijos suvestines prie SQL duomenų saugyklos.
- 4 savaitė: Perkelkite paslaptis į saugyklą, sutvarkykite leidimus, nustatykite pavadinimų suteikimo taisykles ir dokumentuokite viską.
Dažni mitai, švelniai paneigti
- „Databricks“ skirtas tik „Spark“ guru.“ Nebėra. SQL duomenų saugyklos ir vartotojo sąsajos pagalbininkai reiškia, kad analitikai gali klestėti nerašydami nė vienos „Scala“ eilutės.
- „Tai bus brangu.“ Tai gali būti – jei visą savaitgalį paliksite įjungtus stadiono žibintus. Su automatiniu nutraukimu ir mažais užduočių klasteriais galite išlaikyti civilizuotas išlaidas.
- „Versijų valdymas yra galvos skausmas.“ „Delta“ kelionės laiku ir lentelės istorija daro atšaukimą ir auditus gaivinančiai kasdieniškais.
Trumpai apie naudingus pagalbininkus
Jei kada nors įstrigsite rašydami šabloninį „Spark“ kodą, paaiškindami savo bloknotą... sau pačiam arba paversdami grubų rezultatą tvarkinga santrauka, protingas antrasis pilotas gali sutaupyti valandų. Tokie įrankiai kaip Sider.AI gali būti jūsų naršyklėje kaip draugiškas pokalbių langas, padėti jums parengti pradinę „PySpark“ celę, perfaktoruoti nerangų sujungimą arba paversti jūsų bloknoto išvestį į skaitomą santrauką jūsų viršininkui. Štai triukas: užduokite konkrečius, pagrįstus klausimus („Parašykite „PySpark“ sujungimą į „Delta“ lentelę su atnaujinimo logika šiai schemai...“) ir įklijuokite mažą, reprezentatyvų savo schemos pavyzdį, kad pasiūlymas būtų tikslus. Jei bandysite priversti jį viską atspėti, abu baigsite gūžtelėdami pečiais. Jūsų pirmoji savaitė: mini žaidimų knyga
1 diena: Sukurkite darbo srities prisijungimą. Paleiskite mažą kūrimo klasterį su automatiniu nutraukimu.
2 diena: Importuokite mažą CSV. Naršykite su rodymu. Išsaugokite „Delta“ lentelę.
3 diena: Sukurkite paprastą bloknoto duomenų apdorojimo srautą: neapdorotas → išvalytas → apibendrintas. Pridėkite komentarų.
4 diena: Perjunkite į SQL, kad patvirtintumėte rezultatus. Sukurkite mažą informacijos suvestinę.
5 diena: Sukurkite Užduotį, kad atnaujintumėte kasdien. Išjunkite klasterį, eikite namo laiku.
Pagalbinis lapas: komandos, kurias iš tikrųjų naudosite
- Skaityti CSV / Parquet: spark.read.option("header", True).csv(path) / spark.read.parquet(path)
- Rašyti „Delta“ lentelę: df.write.format("delta").mode("append").saveAsTable("catalog.schema.table")
- SQL celė: %%sql, po kurios eina jūsų užklausa
- Sujungimo (atnaujinimo) šablonas SQL:
MERGE INTO target t
USING source s
ON t.id = s.id
WHEN MATCHED THEN UPDATE SET *
WHEN NOT MATCHED THEN INSERT *;
- Automatinis įkėlėjas (laipsniškas įkėlimas) „Python“:
df = (spark.readStream
.format("cloudFiles")
.option("cloudFiles.format", "json")
.load("/mnt/raw/events"))
df.writeStream.format("delta").option("checkpointLocation","/mnt/chk").start("/mnt/delta/events")
Kada pereiti nuo bloknotų prie duomenų apdorojimo srautų
- Jei kasdien vykdote tą patį bloknotą, perkelkite jį į Užduotį.
- Jei sujungsite tris ar daugiau bloknotų, apsvarstykite DLT – tai supaprastina priklausomybes ir prideda duomenų kokybės taisykles.
- Jei kelios komandos priklauso nuo išvesties duomenų, reklamuokite į valdomą katalogą su aiškiais SLA.
Vienas paskutinis dalykas (Pogue duomenų gravitacijos dėsnis)
Duomenys turi gravitaciją. Juos sunku perkelti ir brangu svaidyti. „Databricks“ veikia geriausiai, kai kompiuteriją atnešate į duomenis, laikote savo lenteles tvarkingas („Delta“) ir automatizuojate nuobodžias dalis. Pradėkite nuo mažo, viską pažymėkite ir nustatykite tuos automatinius nutraukimo laikmačius taip, tarsi nuo to priklausytų jūsų sąskaita už debesį – nes taip ir yra.
Pagrindinės išvados
- Pradėkite nuo mažo klasterio ir automatinio nutraukimo.
- Naudokite bloknotus naršymui; išsaugokite švarius rezultatus kaip „Delta“ lenteles.
- Pasikartojančioms transformacijoms naudokite DLT ir suplanuokite su Užduotimis.
- Dalykitės įžvalgomis per SQL duomenų saugyklas ir informacijos suvestines.
- Anksti užrakinkite leidimus ir paslaptis; dokumentuokite eidami.
- Pasikliaukite antruoju pilotu, kai jums reikia postūmio, bet laikykite savo raginimus konkrečius.
Jei galite suskaičiuoti iki penkių su spark.range(5).show, galite sukurti ką nors naudingo „Databricks“. Ir kai jūsų naktinė užduotis veikia neperspėjant jūsų 2 val. ryto, žinosite, kad peržengėte tą retą ir gražią teritoriją, žinomą kaip „duomenys, kurie elgiasi“.
DUK
1 klausimas: Koks yra greičiausias būdas pradėti naudoti „Databricks“ pradedantiesiems?
Sukurkite mažą, automatiškai nutraukiamą klasterį, atidarykite bloknotą ir įkelkite mažą CSV su rodymu, kad naršytumėte. Išsaugokite savo švarius rezultatus kaip „Delta“ lentelę ir išbandykite paprastą SQL užklausą – tai suteikia jums tikrų laimėjimų pirmąją dieną nepasimetus pažangiose funkcijose.
2 klausimas: Ar turėčiau naudoti bloknotus ar „Delta Live Tables“ savo duomenų apdorojimo srautui?
Pradėkite nuo bloknotų, kol viską išsiaiškinsite; jie puikiai tinka naršymui ir greitiems laimėjimams. Kai jūsų logika stabilizuojasi ir ją reikia patikimai vykdyti, perjunkite į „Delta Live Tables“, kad gautumėte valdomas priklausomybes, duomenų kokybės patikrinimus ir lengvesnį stebėjimą.
3 klausimas: Kaip man išlaikyti „Databricks“ išlaidas kontroliuojamas?
Naudokite mažus egzempliorius kūrimui, įjunkite automatinį nutraukimą ir suplanuotiems vykdymams teikite pirmenybę užduočių klasteriams. Venkite išsaugoti didžiulius „DataFrame“, nebent tai būtina, ir stebėkite išlaidų metriką bei debesies biudžetus, kad niekas neveiktų visą savaitgalį.
4 klausimas: Ar nekoduotojai gali efektyviai naudoti „Databricks“?
Taip – SQL duomenų saugyklos ir informacijos suvestinės daro „Databricks“ draugiška analitikams. Galite rašyti paprastą SQL, vizualizuoti rezultatus ir dalytis įžvalgomis neliesdami „PySpark“, tada įtraukite inžinierius tik tada, kai jums reikia sunkesnių transformacijų.
5 klausimas: Koks yra duomenų išsaugojimo kaip „Delta“ lentelių pranašumas?
„Delta“ lentelės suteikia jums ACID transakcijas, versijų istoriją (kelionės laiku) ir geresnį našumą. Tai reiškia saugesnius atnaujinimus, lengvesnius atšaukimus, kai kažkas nutinka ne taip, ir greitesnes užklausas tiems patiems duomenims.
