Alguna vegada has intentat fer que un full de càlcul faci la feina d'una cinta transportadora de fàbrica? Això era jo, fa uns quants estius, intentant controlar milions de fitxers de registre amb un portàtil que gemegava com un chihuahua en una tempesta. Va ser llavors quan algú va dir: "Has provat Databricks?" Que comenci el soroll de l'agulla.
Si les paraules "Spark", "clústers" i "Delta Lake" et fan venir ganes de fugir, bones notícies: utilitzar Databricks no ha de ser com pilotar una nau espacial. Pensa-hi com una cuina compartida per a la gent de dades: els xefs (tu i el teu equip) podeu portar ingredients (dades), utilitzar fogons (clústers de càlcul) i seguir receptes (notebooks) per cuinar menjars (analítiques, dashboards, models d'aprenentatge automàtic) que realment alimenten el negoci.
En aquesta guia, configurarem el teu espai de treball, posarem en marxa el teu primer clúster, escriurem codi en un notebook, consultarem amb SQL, guardarem els resultats en taules Delta, programarem treballs i evitarem els dos problemes clàssics: factures sorpresa i nits misterioses de "per què ha fallat el meu treball?". Mantindré les coses humanes, pràctiques i honestes, com si fóssim dos veïns intercanviant consells per sobre de la tanca, excepte que la tanca està feta de fitxers parquet.
Què és Databricks, realment?
Imagina't Databricks com un estudi tot en un per a big data i IA. Envolta Apache Spark en una interfície amigable, afegeix notebooks col·laboratius, gestiona dades amb Delta Lake (un format de taula superpoderós) i et proporciona eines de governança perquè no deixis accidentalment l'aixeta de dades oberta tota la nit. Pots escriure Python, SQL, Scala o R; barrejar i combinar; i convidar companys d'equip a treballar en els mateixos notebooks sense donar-se cops de colze.
El teu model mental
- Espai de treball: la seu del teu projecte: usuaris, notebooks, repos, treballs.
- Càlcul: Clústers (per a notebooks i treballs) i SQL Warehouses (per a consultes BI/SQL).
- Emmagatzematge: Les teves dades al núvol (S3/ADLS/GCS). Databricks afegeix un catàleg amigable amb taules que pots consultar.
- Governança: Controls d'accés i Unity Catalog perquè les persones adequades vegin les dades adequades.
- Pipelines: Delta Live Tables per a l'enginyeria de dades; Treballs per programar coses; MLflow per a experiments i models.
Pas 1: Crea o uneix-te a un espai de treball
Si la teva empresa ja té Databricks, rebràs una invitació. Si no, registra't per a una prova (núvol que triïs) i crea un espai de treball. Aterraràs en una interfície neta amb una barra lateral esquerra. No et deixis intimidar per les opcions; començarem amb només tres: Espai de treball, Càlcul i Dades.
Pas 2: Posa en marxa el teu primer clúster (el "motor" que hi ha a dins)
Un clúster és només un grup de màquines al núvol que Databricks inicia per tu.
- Fes clic a Compute → New Cluster.
- Tria un mode de clúster (comença amb Single user o Shared per fer proves).
- Tria un tipus d'instància petita per mantenir els costos amigables.
- Activa la terminació automàtica (per exemple, 15–30 minuts). Aquest és el temporitzador de "apagar els llums" per al núvol.
- Crea. Espera un minut o dos; veuràs un "Running" verd.
Consell de Pogue: Posa-li al teu clúster un nom obvi ("dev-pogue-15min-autoterm"). El tu del futur t'ho agrairà.
Pas 3: Obre un notebook (el teu "banc de treball")
- Workspace → New → Notebook.
- Tria un llenguatge. Python és un punt de partida còmode; encara pots executar SQL amb ordres màgiques.
- Adjunta el notebook al teu clúster en execució (menú desplegable a la part superior).
Prova la teva primera cel·la:
print("Hello, Databricks!")
Després, prova un teaser de Spark:
spark.range(5).show
Enhorabona, acabes de llançar un motor de computació distribuïda per comptar fins a cinc. Ets oficialment un mag de les dades.
Pas 4: Porta dades (el "prestatge d'ingredients")
Pots importar fitxers, connectar-te a l'emmagatzematge d'objectes o consultar taules existents.
- Fes clic a Data a la barra lateral. Veuràs catàlegs i esquemes (carpetes per a taules) i opcions per afegir dades.
- Si tens un CSV, puja'l per fer una prova ràpida. Databricks pot inferir l'esquema.
Utilitzar Python per llegir un CSV a l'emmagatzematge al núvol:
df = spark.read.option("header", True).csv("/mnt/my-bucket/sales.csv")
df.printSchema
df.limit(10).display
Aquesta funció de visualització és màgia de Databricks: ordenar, filtrar i crear gràfics fàcilment en un tres i no res.
Pas 5: Desa els teus resultats com a taules Delta (per què Delta?)
Les taules Delta són com fulls de càlcul amb superpoders: mantenen garanties transaccionals ("ACID"), fan un seguiment de les versions i fan que les actualitzacions/insercions/combinacions siguin sensates.
df.write.mode("overwrite").format("delta").saveAsTable("analytics.sales_clean")
Ara pots consultar amb SQL:
-- Canvia la teva cel·la a SQL amb %%sql
%%sql
SELECT product, SUM(amount) AS total
FROM analytics.sales_clean
GROUP BY product
ORDER BY total DESC
Vols dades versionades i aptes per a auditories? Pots viatjar en el temps:
%%sql
SELECT * FROM analytics.sales_clean VERSION AS OF 2
Pas 6: Fes-te amic dels SQL Warehouses (per a la gent de BI)
Si estàs fent principalment dashboards i preguntes de negocis, posa en marxa un SQL Warehouse (Compute → SQL Warehouses). És com un motor més lleuger optimitzat per a SQL.
- Connecta la teva eina de BI (Power BI, Tableau o Databricks SQL Dashboard).
- Crea un dashboard: visualitzacions, filtres, horaris d'actualització.
Pas 7: Pipelines amb Delta Live Tables (de "manual" a "automàtic")
Si tens transformacions repetibles ("neteja les vendes brutes, uneix les metadades del producte, agrega per setmana"), Delta Live Tables (DLT) converteix això en un pipeline gestionat amb comprovacions i llinatge.
Un petit exemple de SQL DLT:
CREATE OR REFRESH LIVE TABLE sales_clean AS
SELECT * FROM cloud_files('/mnt/data/sales_raw', 'csv');
CREATE OR REFRESH LIVE TABLE weekly_sales AS
SELECT product, weekofyear(date) AS week,
SUM(amount) AS weekly_total
FROM LIVE.sales_clean
GROUP BY product, week;
- DLT gestiona la supervisió, els reintents i les regles de qualitat de les dades.
- Afegeix expectatives (com "amount >= 0") perquè les dades dolentes fallin de manera sorollosa en lloc de sabotejar silenciosament el teu trimestre.
Pas 8: Programa-ho amb Treballs (perquè t'agrada dormir)
- Selecciona el teu notebook, estableix un horari (per exemple, diàriament a les 2 a.m.), tria un clúster de treball petit.
- Afegeix alertes per correu electrònic o Slack per als errors.
Bonificació: Parametriza els notebooks perquè el mateix codi s'executi per a dev/test/prod amb diferents entrades.
Pas 9: Permisos i governança sense llàgrimes
El control d'accés a les dades és important. Utilitza els permisos de catàleg integrats per garantir els lectors, escriptors i propietaris adequats. Si la teva organització utilitza un metastore centralitzat, trobaràs Unity Catalog: estandarditza noms com catalog.schema.table i et proporciona millors auditories i controls detallats.
Consell de Pogue: Comença de manera senzilla: un catàleg per a analítiques, un per a sandbox, i anomena les coses amb claredat. Els futurs analistes et convidaran a un cafè.
Pas 10: Control de costos (la secció "no rebis una factura sorpresa")
- Opta per instàncies petites quan exploris.
- Activa sempre la terminació automàtica als clústers de desenvolupament.
- Prefereix els clústers de treballs per a tasques programades (engegar, executar, apagar).
- Posa en memòria cau de manera intel·ligent: no persisteixis DataFrames enormes tret que necessitis reutilitzar-los.
- Vigila les mètriques de costos de la interfície d'usuari i estableix pressupostos/alertes al teu proveïdor de núvol.
Un dia a la vida: una demostració ràpida
Suposem que el teu cap pregunta: "Quines línies de producte van créixer més ràpid aquest trimestre?" Aquest és el flux de Databricks:
- Crea un notebook, adjunta un clúster de desenvolupament.
- Ingereix les vendes i les metadades del producte (CSV a l'emmagatzematge al núvol).
- Neteja: aplica esquemes, elimina nuls, corregeix els formats de data.
- Escriu dades netes a Delta.
- SQL per calcular el creixement trimestre rere trimestre.
- Visualitza al notebook; després publica un dashboard per al cap.
- Envolta el notebook en un Treball per actualitzar-lo cada matí.
Racó de resolució de problemes (perquè passa)
- El clúster no s'inicia: Comprova la teva quota/tipus d'instància; prova una VM més petita; confirma els permisos.
- Les dades no es llegeixen: Verifica el camí i les credencials; prova una petita mostra; inspecciona l'esquema inferit.
- El treball continua fallant: Afegeix registre (instruccions d'impressió, visualització), redueix el paral·lelisme i valida les entrades.
- Els resultats semblen "estranyos": Zones horàries! Són traïdores. Transforma les marques de temps, estableix una zona horària per defecte i documenta les suposicions.
Col·laboració: treballa com una banda, no com un solista
- Utilitza Repos per sincronitzar notebooks amb Git. Fes commit d'hora, fes commit sovint.
- Comenta directament a les cel·les del notebook. Mantén una cel·la "Llegeix-me primer" a la part superior amb instruccions.
- Crea notebooks petits i composables (ingerir, transformar, analitzar) perquè els companys d'equip puguin participar sense espeleologia.
Python? SQL? Tots dos.
Pots barrejar llenguatges en un notebook. Per exemple, crea un prototip de la teva lògica en SQL (iteració ràpida), després canvia a Python per a biblioteques especialitzades (previsió, PNL). Utilitza UDF amb moderació: les funcions natives de Spark són més ràpides i amigables per escalar.
Rendiment: les tres palanques
- Particions: Salta't el paller, llegeix només les agulles. Particiona les taules Delta per columnes filtrades amb freqüència (data, regió).
- Mides de fitxer: Els fitxers petits són com purpurina: a tot arreu i molestos. Utilitza escriptures optimitzades/auto-optimització per fusionar fitxers petits en fitxers gruixuts i eficients.
- Memòria cau i joins de difusió: Posa en memòria cau els DataFrames reutilitzats; difon la taula petita en joins grans per evitar barreges.
Conceptes bàsics de seguretat que voldràs tenir al dia dos
- Emmagatzema secrets en un àmbit secret gestionat; mai codifiquis claus.
- Bloqueja les taules de producció amb concessions de mínim privilegi.
- Utilitza els registres d'auditoria per veure qui va canviar què, quan.
De la manipulació a la producció: un camí realista
- Setmana 1: Explora amb notebooks i un clúster petit. Desa les primeres taules Delta. Comparteix els èxits.
- Setmana 2: Crea un pipeline DLT per a les teves transformacions recurrents. Afegeix comprovacions de qualitat de les dades.
- Setmana 3: Embolica els notebooks en Treballs, afegeix alertes i connecta dashboards a un SQL Warehouse.
- Setmana 4: Mou els secrets a un vault, ordena els permisos, estableix convencions de nomenclatura i documenta-ho tot.
Mites comuns, desinflats suaument
- "Databricks és només per a gurus de Spark." Ja no. Els SQL Warehouses i els ajudants de la interfície d'usuari signifiquen que els analistes poden prosperar sense escriure ni una línia d'Scala.
- "Serà car." Pot ser-ho, si deixes els llums de l'estadi encesos tot el cap de setmana. Amb la terminació automàtica i els clústers de treball petits, pots mantenir els costos civilitzats.
- "El versionament és un maldecap." El viatge en el temps i l'historial de taules de Delta fan que la reversió i les auditories siguin refrescantment mundanes.
Una breu paraula sobre ajudants útils
Si mai et trobes encallat escrivint codi Spark repetitiu, explicant el teu propi notebook a... tu mateix, o convertint un resultat brut en un resum ordenat, un copilot intel·ligent pot estalviar hores. Eines com Sider.AI poden seure al teu navegador com una caixa de xat amigable, ajudar-te a redactar una cel·la PySpark inicial, refactoritzar un join maldestre o convertir la sortida del teu notebook en un informe llegible per al teu cap. Aquí hi ha el truc: fes preguntes específiques i fonamentades ("Escriu una fusió de PySpark en una taula Delta amb lògica d'upsert per a aquest esquema...") i enganxa una mostra petita i representativa del teu esquema perquè el suggeriment sigui precís. Si intentes fer que ho endevini tot, tots dos acabareu encongint-vos d'espatlles. La teva primera setmana: un mini playbook
Dia 1: Crea un inici de sessió a l'espai de treball. Inicia un petit clúster de desenvolupament amb terminació automàtica.
Dia 2: Importa un petit CSV. Explora amb visualització. Desa una taula Delta.
Dia 3: Crea un pipeline de notebook senzill: brut → net → agregat. Afegeix comentaris.
Dia 4: Canvia a SQL per validar els resultats. Crea un petit dashboard.
Dia 5: Crea un Treball per actualitzar-lo diàriament. Apaga el clúster, ves a casa a temps.
Full de trucs: ordres que realment utilitzaràs
- Llegir CSV/Parquet: spark.read.option("header", True).csv(path) / spark.read.parquet(path)
- Escriure taula Delta: df.write.format("delta").mode("append").saveAsTable("catalog.schema.table")
- Cel·la SQL: %%sql seguit de la teva consulta
- Patró de fusió (upsert) en SQL:
MERGE INTO target t
USING source s
ON t.id = s.id
WHEN MATCHED THEN UPDATE SET *
WHEN NOT MATCHED THEN INSERT *;
- Autoloader (ingesta incremental) en Python:
df = (spark.readStream
.format("cloudFiles")
.option("cloudFiles.format", "json")
.load("/mnt/raw/events"))
df.writeStream.format("delta").option("checkpointLocation","/mnt/chk").start("/mnt/delta/events")
Quan canviar de notebooks a pipelines
- Si estàs executant el mateix notebook diàriament, mou-lo a un Treball.
- Si estàs encadenant tres o més notebooks, considera DLT: simplifica les dependències i afegeix regles de qualitat de les dades.
- Si diversos equips depenen de les sortides, promociona-ho a un catàleg gestionat amb SLA clars.
Una última cosa (llei de la gravetat de les dades de Pogue)
Les dades tenen gravetat. És pesat moure-les i car fer-les volar. Databricks funciona millor quan portes el càlcul a les dades, mantens les teves taules ordenades (Delta) i automatitzes les parts avorrides. Comença de manera senzilla, etiqueta-ho tot i estableix aquests temporitzadors de terminació automàtica com si la teva factura del núvol depengués d'això, perquè és així.
Principals conclusions
- Comença amb un clúster petit i terminació automàtica.
- Utilitza notebooks per explorar; desa els resultats nets com a taules Delta.
- Per a transformacions repetibles, utilitza DLT i programa amb Treballs.
- Comparteix coneixements a través de SQL Warehouses i dashboards.
- Bloqueja els permisos i els secrets d'hora; documenta a mesura que avances.
- Recorre a un copilot quan necessitis un impuls, però mantén les teves indicacions específiques.
Si pots comptar fins a cinc amb spark.range(5).show, pots construir alguna cosa útil a Databricks. I un cop el teu treball nocturn s'executi sense trucar-te a les 2 a.m., sabràs que has creuat a aquell territori rar i bonic conegut com a "dades que es comporten".
FAQ
Q1:Quina és la manera més ràpida de començar a utilitzar Databricks com a principiant?
Crea un clúster petit amb terminació automàtica, obre un notebook i carrega un petit CSV amb visualització per explorar. Desa els teus resultats nets com a taula Delta i prova una consulta SQL senzilla: això et proporciona èxits reals el primer dia sense perdre't en funcions avançades.
Q2:Hauria d'utilitzar notebooks o Delta Live Tables per al meu pipeline?
Comença amb notebooks mentre estàs esbrinant les coses; són perfectes per a l'exploració i els èxits ràpids. Quan la teva lògica s'estabilitzi i necessiti executar-se de manera fiable, canvia a Delta Live Tables per a dependències gestionades, comprovacions de qualitat de les dades i una supervisió més fàcil.
Q3:Com puc mantenir els costos de Databricks sota control?
Utilitza instàncies petites per al desenvolupament, activa la terminació automàtica i prefereix els clústers de treball per a execucions programades. Evita persistir DataFrames gegants tret que sigui necessari i vigila les mètriques de costos i els pressupostos del núvol perquè res s'executi tot el cap de setmana.
Q4:Poden els no codificadors utilitzar Databricks de manera efectiva?
Sí, els SQL Warehouses més els dashboards fan que Databricks sigui amigable per als analistes. Pots escriure SQL senzill, visualitzar els resultats i compartir coneixements sense tocar PySpark, després portar enginyers només quan necessitis transformacions més pesades.
Q5:Quin és l'avantatge de desar les dades com a taules Delta?
Les taules Delta et proporcionen transaccions ACID, historial de versions (viatges en el temps) i un millor rendiment. Això significa actualitzacions més segures, reversions més fàcils quan alguna cosa va malament i consultes més ràpides per a les mateixes dades.
