LakeFS alternatīvas: gudrāki veidi, kā versēt savus datus bez galvassāpēm
Vai jūs kādreiz esat vēlējušies, lai jūsu datu ezers darbotos kā Git — bez šifru komandām un kolēģa, kas nosauca zariņu par “final_FINAL_no_really”? Arī es tā jūtos. Tieši to sola datu versiju kontroles rīki kā lakeFS: zariņi datu kopām, reproducējami eksperimenti, atgriešanās versijās, ja kāds nejauši ieraksta CSV ar kolonnām sajauktām kā Uno kārtis.
Bet lakeFS nav jūsu vienīgā iespēja. Varbūt jūs strādājat lokāli (on-prem). Varbūt jums ir alerģija pret objektu krātuves semantiku. Vai arī jūs vienkārši vēlaties lētāku, vienkāršāku vai vairāk noliktavas orientētu risinājumu. Šodien mēs draudzīgi, vienkāršā angļu valodā iepazīstināsim ar lakeFS alternatīvām — kas viņas ir, kādas ir to stiprās un vājās puses un kā izvēlēties bez tam, lai sabojātu brīvdienas.
Spoiler: šeit nav viena skaidra uzvarētāja. Tā ir vairāk kā pareizā kofera izvēle ceļojumam. Mugursoma dienas pārgājieniem, ratiņkaste lidostai, un liels steamer tips, ja pārvācat simfonisko orķestri. Saskaņosim koferus ar jūsu ceļojumu.
Kas mēs domājam ar “LakeFS alternatīvām” (un kāpēc jums tās varētu vēlēties)
LakeFS alternatīvas ir rīki un pieejas, kas dod jums Git līdzīgu datu versiju kontroles iespējas — zariņus, tagus, laika ceļojumu, reproducējamību — bez paša lakeFS. Galvenie iemesli, kāpēc cilvēki izvēlas alternatīvas:
- Jūs strādājat datu noliktavā, nevis datu ezerā. Jūs vēlaties versiju kontroli Snowflake, BigQuery, Redshift vai Databricks vidē, nevis S3 vai GCS.
- Jūs dodat priekšroku tabulu formātiem, nevis globāliem katalogiem. Apache Iceberg un Delta Lake dod tabulu līmeņa momentuzņēmumus un versiju kontroli.
- Jūs vēlaties vieglāku pēctecību un pārvaldību. Varbūt jums pietiek ar dbt momentuzņēmumiem, laika ceļojumu vai katalogu.
- Jums ir stingri infrastruktūras noteikumi. Gaisa piegružots, lokāls, vai piegādātāja bloķēšanas politika stingrāka par jūsu pamatskolas bibliotēkas noteikumiem.
Pa ceļam mēs salīdzināsim rīkus, sniegsim īsus demonstrējumus un praktiskus padomus, lai jūs varētu izmēģināt bez ražošanas apturēšanas.
Īsais saraksts: lakeFS alternatīvas pēc veida
Domājiet par lakeFS kā “globālu Git ezeram” virs objektu krātuvēm. Alternatīvas parasti iedalās šādās kategorijās:
- Tabulu formāti ar laika ceļojumu
- Delta Lake (Databricks un atvērtā koda)
- Noliktavu dzimtā versiju kontrole
- Snowflake Time Travel un Zero-Copy Cloning
- BigQuery momentuzņēmumi un tabulu kloni
- Redshift momentuzņēmumi (ar aizrādījumiem)
- Unity Catalog (Databricks)
- AWS Glue Data Catalog + Lake Formation
- Atvērtā koda katalogi kā Nessie (Iceberg)
- Darba plūsmas un modelēšanas pieejas
- dbt momentuzņēmumi un iesējas
- Orķestrācija ar pēctecību (Dagster, Prefect)
- Versiju kontrolētas objektu krātuves un datu portāli
- Pachyderm (versiju kontrolēti datu plūsmas)
- Quilt (S3 datu pakotņu versiju kontrole)
- DVC (Data Version Control) ar attālo krātuvi
Izpētīsim katru — kas tā ir, kam piemērota un kā salīdzināt ar lakeFS.
Tabulu formāti: Iceberg, Delta un Hudi
Ja lakeFS ir “Git jūsu ezeram”, tabulu formāti ir “laika ceļojuma tabulas jūsu ezerā.” Tie glabā datus kopā ar transakciju žurnālu, lai varat veikt momentuzņēmumus, atgriezties atpakaļ un veidot zariņus (atšķirīgos veidos) tabulas līmenī. Labi — ACID, shēmas evolūcija un konsekventas lasīšanas. Mīnuss — versiju kontrole ir vien tabulai, nevis visam “bucket” līmenī.
Apache Iceberg: mierīgais, standartu pirmais “pieaudzis”
- Kas tas ir: atvērts tabulas formāts, kas glīti nošķir metadatus no datu failiem, ar momentuzņēmumiem, partīciju evolūciju un plašu dzinēju atbalstu (Spark, Flink, Trino, Snowflake, Athena, u.c.).
- Kāpēc tā ir alternatīva: varat veikt laika ceļojumu un atzīmēt tabulu momentuzņēmumus bez globāla slāņa kā lakeFS. Ar katalogu kā Nessie var iegūt Git līdzīgus zaru pārvaldību tabulu metadatiem vairākām tabulām vienlaikus.
- Kur tā izceļas: Multi-dzinēju vidi, shēmu evolūciju un ja vēlaties izvairīties no proprietāra bloķējuma. Iceberg manifests un metadatu koki ir kārtīgi un labi mērogojas.
- Brīdinājumi: zaru veidošana ir metadatu centrēta; vairāku tabulu koordinācija ir ērtāka ar katalogu (piem., Nessie). Joprojām būs jāorganizē un jānodrošina izolācija starp darbiem.
Mēģiniet demonstrāciju:
- Izveidojiet Iceberg tabulu, palaidiet ETL
dev zarā Nessie, pārbaudiet rezultātus un tad ātri apvienojiet ar main. Ja kaut kas salūst, lasītāji var atsaukties uz momentuzņēmumu N-1.
Salīdzinājums ar lakeFS: lakeFS dod objektu līmeņa zaru kontroli visam ezeram; Iceberg — tabulu līmeņa momentuzņēmumus. Ar Nessie Iceberg sāk justies kā lakeFS kaimiņš.
Delta Lake: muskuļu auto — ātrs, principiāls, mīl Databricks
- Kas tas ir: transakciju žurnāla formāts (atvērts kods) ar Databricks dzimtā atbalstu. Piedāvā laika ceļojumu,
MERGE INTO un izmaiņu datu padevi.
- Kāpēc tā ir alternatīva: Delta laika ceļojums un kloni atrisina lielāko daļu “ups” momentu. Databricks Unity Catalog papildina ar pārvaldību un starpvides kontroli.
- Kur tā izceļas: ja jau izmantojat Databricks. Ir ērts, dokumentācija ir laba, snieguma pielāgošana augstā līmenī.
- Brīdinājumi: ārpus Databricks dažas funkcijas var kavēties. Vairāku tabulu zaru veidošana joprojām nav kā globālie ezeru zari.
Mēģiniet demonstrāciju:
- Izveidojiet Delta tabulu, veiciet eksperimentus “dev” shēmā, izmantojot
VERSION AS OF metriku salīdzināšanai, tad ražošanai izmantojiet klonēšanu un nomaiņu.
Salīdzinājums ar lakeFS: Delta lieliski aizsargā tabulas; lakeFS aizsargā “visu bucket,” tajā skaitā netabulas artefaktus (modeļi, attēli, CSV).
Apache Hudi: CDC draudzīgais darba zirgs
- Kas tas ir: tabulas formāts, optimizēts upsertiem un izmaiņu straumēm, ar copy-on-write un merge-on-read režīmiem.
- Kāpēc tā ir alternatīva: lieliski, ja dati plūst pakāpeniski un vajadzīga inkrementāla apstrāde un atgriešanās atpakaļ.
- Kur tā izceļas: notikumiem bagātas plūsmas, gandrīz reāllaika datu iekraušana un CDC.
- Brīdinājumi: konfigurēšana var šķist kā reaktīvā dzinēja noregulēšana. Dokumentācija ir uzlabota, bet ir mācību līkne.
Salīdzinājums ar lakeFS: Hudi labi pārvaldīs inkrementālos datus; lakeFS pārvaldīs globālo versiju un veicināšanas darba plūsmas. Var darboties kopā.
Noliktavu dzimtā versiju kontrole: Snowflake, BigQuery, Redshift
Ja dzīvojat noliktavā, varat aiziet diezgan tālu bez datu ezeru Git slāņa.
Snowflake Time Travel un Zero-Copy Cloning
- Kas tas ir: “atsaukšanas poga” iebūvēta Snowflake. Atjaunojiet tabulas, shēmas vai datubāzes iepriekšējā brīdī; klonējiet vide bez papildu datu dublikātiem.
- Kāpēc tā ir alternatīva: ārkārtīgi viegli izveidot izstrādes smilškasti, testēt un izmest.
- Kur tā izceļas: analītikas komandām, kas vēlas reproducējamību bez jaunu rīku apguves.
- Brīdinājumi: Time Travel saglabāšanas laiks maksā un ir ierobežots (līdz 90 dienām augstākajos līmeņos). Darbojas tikai Snowflake.
Mēģiniet demonstrāciju:
CREATE DATABASE stage CLONE prod; Palaidiet pārveidojumus; ja viss strādā, apvienojiet. Ja nesanāk, izdzēsiet klonu un turpiniet darbu.
Salīdzinājums ar lakeFS: lakeFS pārvalda failus S3/GCS/Azure un apkārtējās datu plūsmas. Snowflake burvība paliek tikai Snowflake vidē.
BigQuery momentuzņēmumi un tabulu kloni
- Kas tas ir: izveidojiet tabulu momentuzņēmumus, izmantojiet
FOR SYSTEM_TIME AS OF vaicājumus un arvien vairāk tabulu klonus.
- Kāpēc tā ir alternatīva: ļoti vienkārši, serverless, bez administrēšanas. Lieliski eksperimentu salīdzināšanai.
- Brīdinājumi: momentuzņēmumi un kloni ir uz tabulu līmeņa; vairāku tabulu koordinācija ir pašrocīga.
Redshift un kompanjoni
- Kas tas ir: var veidot momentuzņēmumus un izmantot RA3 funkcijas; tas nav tik plūstošs kā Snowflake Time Travel.
- Lietojumgadījums: mazākas AWS bāzētas organizācijas, kas vēlas “pietiekami labu” atgriešanos.
Katalogi un pārvaldība: Unity, Glue un Nessie
Šie paši datu neversē, bet dod kārtību — un reizēm zaru iespējas tabulām.
- Unity Catalog (Databricks): centralizēta piekļuves kontrole, pēctecība un datu atklāšana starp darba vietām. Ar Delta — pārvaldības pastiprinājums.
- AWS Glue + Lake Formation: atļaujas un katalogu pārvaldība S3. To lieto kopā ar Iceberg/Delta/Hudi versiju kontrolei.
- Project Nessie: Git līdzīgs katalogs Iceberg, kas ļauj veidot zarus un tagus tabulu metadatiem daudzās tabulās. Tas ir “Aha!” moments, kas padara Iceberg līdzīgu lakeFS.
Darba plūsmu pieejas: dbt, Dataform un orķestratori
Ja jautājums ir “Kā atjaunot šo rezultātu otrdien?”, atbilde reizēm nav jauns glabāšanas slānis — bet disciplīna un metadati.
- dbt momentuzņēmumi: fiksē lēni mainīgās dimensijas un tur vēsturisku izmaiņu žurnālu. Tas nav datu zaru veidošana, bet nenovērtējams audits.
- Iesējas un artefakti: versiju kontrolējiet ievades CSV kā sēklas; ierakstiet Git; padariet modeļus reproducējamus, fiksējot versijas.
- Orķestratori ar pēctecību (Dagster, Prefect): seko atkarībām, materiālizē izstrādes un ražošanas aktīvus, pārbauda pirms veicināšanas.
Tie ir “procesu alternatīvas.” Neatgriezīs jūsu visu ezeru, bet samazinās kļūdu un paātrinās atkopšanos.
Versiju kontrolētas objektu krātuves un datu portāli: Pachyderm, Quilt, DVC
- Pachyderm: Git datu plūsmām ar konteinerizētām darbībām un izcelsmi. ML pasaulē ar reproducējamību tas ir lieliski.
- Quilt: skatiet S3 kā pakotņu pārvaldnieku datu kopām. Publicējiet versiju “pakas” ar dokumentāciju un priekšskatījumu, ērti dalīties.
- DVC: Git-līdzīga izsekošana lieliem failiem, ar attālajiem resursiem (S3, GCS u.c.). Ļoti piemērots ML eksperimentiem, modeļu un datu versijām, integrācijai ar CI.
Salīdzinot ar lakeFS, tie vairāk piemēroti ML darba plūsmām vai cilvēkiem draudzīgai datu pakotnei, nevis ezeru līmeņa zaru veidošanai.
Kā izvēlēties LakeFS alternatīvu: praktiska pārbaudes saraksts
Vienkāršs filtrs, ko var izdarīt 10 minūtēs:
- Pārsvarā noliktavā → sāciet ar noliktavas klonēšanu/laika ceļojumu (Snowflake, BigQuery). Tas ir “bez maksas” cilvēku resursu ziņā.
- Objektu krātuve + atvērtie dzinēji → apsveriet Iceberg vai Delta; pievienojiet Nessie vai Unity Catalog pārvaldībai.
- ML intensīvas plūsmas → paskatieties uz DVC vai Pachyderm eksperimentu reproducēšanai.
- Visu ezeru, starp formātiem un netabulas artefaktus (attēli, modeļi) → lakeFS slikti pārspējams; alternatīvas ir kombinācijas.
- Kodola analītikas tabulas → Iceberg/Delta/Hudi vai noliktavu kloni.
- Cik ātri vajag atgriezties atpakaļ?
- Minūtes: momentuzņēmumi/kloni (Snowflake, Delta).
- Stundas: Iceberg ar katalogu zaru veidošanu.
- Tūlītēji visur: lakeFS vai ļoti disciplinētas pakotņu pieejas.
- Kāds ir jūsu komandas profils?
- Datu inženieri, kas pārzina Spark/Trino → Iceberg/Delta ir labi.
- Analītiķi ar SQL → noliktavas dzimtās pieejas iecienītas.
- ML pētnieki → DVC/Pachyderm ir ērtas.
- Nepieciešama nemainīga vēsture un tagi → Iceberg/Delta momentuzņēmumi, dbt momentuzņēmumi vai DVC ar attālajiem resursiem.
- Nepieciešamas vairāku datu kopu, cilvēkiem saprotamas izmaiņu piezīmes → lakeFS vai Nessie zaru veidošana ar pull pieprasījumiem.
Demonstrējums: divi reāli modeļi bez lakeFS
Izstaigāsim divus modeļus, ko varat izmēģināt šodien — bez ķiveres.
Modelis A: noliktavas prioritāte, tūlītējas smilškastes (Snowflake vai BigQuery)
- Ievietojiet ražošanu
prod datubāzē.
- Nakts
CREATE DATABASE dev CLONE prod (Snowflake) vai izveidojiet tabulu klonus/momentuzņēmumus (BigQuery).
- Pārlieciniet savu BI rīku uz
dev versiju testu laikā.
- Veiciet pārveidojumus
dev vidē.
- Validējiet KPIs, veiciet datu testus (piemēram dbt
tests), salīdziniet ar prod.
- Ja zaļš, veiciet “popularizēšanu” (pārslēgšana, MERGE un tamlīdzīgi).
- Ja sarkans — izdzēsiet klonu, bez nesakārtības.
- Plusi: ātri, vienkārši, lieliski analītiķiem.
- Mīnusi: tikai noliktavai; artefakti objektu krātuvē (piem., ML modeļi) nav šajā ietvarā.
Modelis B: atvērts ezers ar Iceberg + Nessie (Git tabulām)
- Glabājiet datus S3/GCS/Azure.
- Izmantojiet Iceberg tabulas ar Nessie katalogu.
- Konfigurējiet Spark/Trino, lai strādātu ar Nessie.
- Izveidojiet
feature-exp zaru Nessie.
- Palaidiet ETL, lai pievienotu jaunus laukus vai labojumus Iceberg tabulām.
- Veiciet validācijas (rindu skaits, null vērtību pārbaude, sadales novirze).
- Ja apmierina, ātri apvienojiet
main ar feature-exp. Ja nē, atmetiet zaru.
- Plusi: atvērts, agnostiķis attiecībā uz dzinējiem, Git līdzīgas semantikas tabulu metadatiem.
- Mīnusi: versiju kontrole ir tikai tabulu metadatiem/failiem, nevis visam datu grozam. Jāizstrādā stratēģija netabulāriem resursiem.
Kad jums joprojām vajadzētu lakeFS
Godīgi sakot: dažreiz globālā zaru sistēma ir labākais rīks.
- Jums vajag vienu atomisku pārslēgumu dažādiem formātiem vienlaikus. Parquet tabulas, CSV dati, ML modeļi, dokumenti — visi izplatīti kopā.
- Jums vajag objekta līmeņa izolāciju sarežģītās plūsmās. Pamēģiniet posmus, testus un apvienošanu kā programmatūras laidienu.
- Jums vajag cilvēkiem draudzīgu pārskatīšanu. Zari, testi, PR tipa apskate, apvienošana.
Ja tā ir jūsu situācija, alternatīvas sāks izskatīties kā mēģinājums no jauna salikt lakeFS no detaļām. Tas ir kā pats fermenta liešanas maizes gatavošanā — iespējams, garšīgi, bet prasa daudz uzmanības.
Ātra piezīme par izmaksām un sarežģītību
- Noliktavas prioritāte: Maksāsiet par kloniem un laika ceļojuma saglabāšanu, bet būsiet mierīgāki. Vienkārša ieiešana.
- Tabulu formāti: infrastruktūras labi pārzinātāji novērtēs kontroli un dzinēju elastību. Gaidiet vairāk iestatījumu.
- ML fokusētie rīki: DVC un Pachyderm izceļas eksperimentu izsekošanā, bet tos vajadzēs sasaistīt ar analītiku.
- Katalogi: pārvaldība ir lieliska — līdz kādam to jāuztur. Rezervējiet laiku politikas pārvaldībai.
Noteikums: ja jūsu komanda ir mazāka par desmit cilvēkiem un 90% darba ir SQL analītika, sāciet noliktavā. Ja esat platformas komanda piecam departamentiem, novērtēsiet Iceberg/Delta + katalogu arhitektūras elastību.
Pārsteigums: Sider.AI var palīdzēt tikt galā ar haosa daļām ap šiem rīkiem, īpaši dokumentācijas, SQL testu un “kas mainījās?” stāstniecībā. Tas ir ērts palīgs, kas pārveido zaru atšķirības vai momentuzņēmumu salīdzinājumus par cilvēkiem lasāmām kopsavilkām, ko jūsu ieinteresētās personas patiesi saprot. Tas nav versiju kontroles rīks pats par sevi — nemēģiniet ar to atgriezt ezera stāvokli — bet pārskatīšanai, testu plānošanai un skriptu radīšanai tas ir kā varonis ar palīgu. Lēmumu matrica: ko izvēlēties un kad
- Izvēlieties Iceberg (+ Nessie), ja: vēlaties atvērtus standartus, multi-dzinēju atbalstu un Git tipa zarus daudzām tabulām.
- Izvēlieties Delta (+ Unity Catalog), ja: esat Databricks vidē un vēlaties ērtāko pieredzi.
- Izvēlieties Hudi, ja: darbojaties CDC un straumējošu datu vidē.
- Izvēlieties Snowflake Time Travel/Clones, ja: jūsu darbs ir SQL paneļi un vēlaties vieglas smilškastes.
- Izvēlieties BigQuery momentuzņēmumus/klonus, ja: mīlat serverless un gribat vienkāršus eksperimentus pēc patēriņa maksas principa.
- Izvēlieties DVC vai Pachyderm, ja: ML eksperimentu un izcelsmes izsekošana ir jūsu ikdiena.
- Izvēlieties Quilt, ja: dalāties ar rūpīgi atlasītām, dokumentētām datu kopām cilvēkiem.
Un jā, varat jaukt un saskaņot. Daudzas komandas lieto Delta kurētām noliktavām, DVC ML, un noliktavu klonus BI — vienlaikus. Tas ir kā bufete, nevis fiksēts ēdiens.
Problēmu stūris: izplatītas “versiju kontroles” ķibeles
- “Mani dev testi izdevās, bet ražošana sabruka.” Jūs popularizējāt tabulu, bet ne atsauces failus (meklēšanas, modeļi). Iespējams izveidot pakotnes vai lakeFS tipa globālu popularizēšanu vai glabāt atsauces noliktavā.
- “Time Travel mani izglāba — līdz saglabāšanas logs beidzās.” Iestatiet brīdinājumus par saglabāšanas logiem, atzīmējiet kritiskos momentuzņēmumus vai eksportējiet nemainīgā glabātuvē.
- “Dzinējs A redz datus, ko dzinējs B neredz.” Katalogu saderības problēma. Standartizējiet vienu katalogu (Nessie/Unity/Glue) katrā vidē.
- “Shēma attīstījās; lejupējie panikā.” Izmantojiet tabulas formātus, kas atbalsta shēmas attīstību, un pievienojiet līgumus (testus, ierobežojumus) CI.
30 minūšu izmēģinājuma plāns
- Klonējiet prod uz dev (Snowflake/BigQuery).
- Palaidiet dbt darbu; pievienojiet 3 vienkāršus testus (nav nulles, unikāls, pieņemtas vērtības).
- Salīdziniet KPI; paaugstiniet, apmainot skatu.
- Izveidojiet Iceberg tabulu un Nessie zaru.
- Palaidiet nelielu transformāciju, pievienojot kolonnu.
- Validējiet rindu skaitu un nulles rādītājus; ātri virziet apvienošanu.
- Inicializējiet DVC repozitoriju ar nelielu datu kopu.
- Apmāciet divus modeļus, atzīmējiet versijas.
- Ģenerējiet diff atskaiti; saglabājiet metrikas ar commit.
Ja jūs varat izdarīt iepriekš minēto bez svīšanas, jums ir dzīvotspējīga alternatīva.
Galvenā doma
Datu versiju kontrole nav pielūgšana viena instrumenta altārim. Runa ir par atkārtojamību un drošību: vai jūs varat izmēģināt lietas, nesabojājot tās, un vai jūs varat ātri atgriezties pie zināmi laba stāvokļa? lakeFS ir viens elegants veids. Alternatīvas — Iceberg, Delta, Hudi, Snowflake, BigQuery, DVC, Nessie un draugi — aptver lielāko daļu reālās pasaules vajadzību, ja izvēlaties pareizo kombināciju.
Mans viedoklis: Sāciet ar vienkāršāko lietu, kas nodrošina atgriezenisko saiti un izolāciju vidē, kuru jau pazīstat. Pievienojiet pārvaldību un katalogus, kad jūsu triecienu rādiuss pieaug. Un, kad žonglējat ar tabulām, failiem un modeļiem kā ar liesmojošām lāpām, atcerieties: jūs vienmēr varat paņemt instrumentu, kas izturas pret visu ezeru kā pret Git repozitoriju — vai sajaukt un saskaņot, līdz iegūstat pareizo līdzsvaru.
Un vēl viena lieta: Nosauciet savus zarus tā, lai nākotnes jūs to saprastu. “fix-metric-typo” ir labāk nekā “plswork”. Arī jūsu saprāts ir versijā.
BUJ
Q1: Kādas ir labākās lakeFS alternatīvas datu versiju kontrolei?
Populārākās lakeFS alternatīvas ir Apache Iceberg (bieži vien ar Nessie), Delta Lake (īpaši Databricks), Apache Hudi CDC intensīvām cauruļvadiem un vietējās noliktavas opcijas, piemēram, Snowflake Time Travel un BigQuery momentuzņēmumi. ML izmantošanas gadījumiem DVC un Pachyderm ir spēcīga izvēle.
Q2: Kad man vajadzētu izvēlēties Iceberg vai Delta, nevis lakeFS?
Izvēlieties Iceberg vai Delta, ja jūsu galvenās vajadzības ir tabulas līmeņa laika ceļojumi, ACID transakcijas un dzinēja integrācija. Ja jums ir nepieciešama arī starpformātu, visa ezera atzarošana un netabulas aktīvu paaugstināšana, lakeFS joprojām ir priekšrocības.
Q3: Vai Snowflake Time Travel var aizstāt lakeFS?
Tas var būt noliktavas centrētām komandām. Snowflake Time Travel un Zero-Copy Cloning atvieglo izstrādes smilškastes un atgriezeniskās saites, taču tās aptver tikai datus Snowflake iekšienē — nevis jūsu objektu krātuvi, ML modeļus vai nejaušus failus.
Q4: Kā Nessie padara Iceberg par lakeFS alternatīvu?
Projekts Nessie pievieno Git līdzīgus zarus un tagus jūsu Iceberg katalogam, ļaujot jums pārbaudīt izmaiņas daudzās tabulās un paaugstināt tās kopā. Tas ir vērsts uz metadatiem, tāpēc jūs joprojām plānosiet netabulas aktīvus atsevišķi.
Q5: Kāds ir vienkāršākais veids, kā pilotēt lakeFS alternatīvu?
Ja atrodaties noliktavā, klonējiet prod uz dev (Snowflake/BigQuery) un izmēģiniet nelielu transformāciju ar testiem. Atvērtā ezerā palaidiet Iceberg ar Nessie zaru un praktizējiet ātru apvienošanu. ML gadījumā inicializējiet DVC, versējiet datu kopu un salīdziniet divus modeļu izpildes.
