LakeFS Alternatyvos: protingesni būdai versijuoti duomenis neprarandant proto
Ar kada nors norėjote, kad jūsų duomenų ežeras veiktų kaip Git – be paslaptingų komandų ir tos dalies, kurioje jūsų bendradarbis pavadino šaką „final_FINAL_tikrai_paskutinis“? Aš irgi. Tai yra duomenų versijų kontrolės įrankių, tokių kaip lakeFS, pažadas: duomenų rinkinių šakos, atkuriami eksperimentai, atšaukimai, kai kas nors įkelia CSV failą su stulpeliais, sumaišytais kaip Uno kortų kaladė.
Tačiau lakeFS nėra vienintelė jūsų galimybė. Galbūt naudojate vietinę infrastruktūrą (on-prem). Galbūt esate alergiškas objektų saugyklos semantikai. Galbūt tiesiog norite pigesnio, paprastesnio ar į duomenų saugyklą orientuoto sąrankos. Šiandien apžvelgsime lakeFS alternatyvas paprasta kalba – kas joms gerai sekasi, kur jos klysta ir kaip išsirinkti vieną neaukojant savo savaitgalio.
Spoileris: čia nėra vieno nugalėtojo. Tai labiau panašu į tinkamo lagamino pasirinkimą kelionei. Kuprinė žygiams pėsčiomis, lagaminas su ratukais oro uostui, skrynia, jei perkeliate simfoniją. Pritaikykime lagaminus jūsų kelionei.
Ką turime omenyje sakydami „LakeFS alternatyvos“ (ir kodėl jums galėtų prireikti vienos)
LakeFS alternatyvos yra įrankiai ir modeliai, kurie suteikia jums į Git panašų duomenų versijų valdymą – šakojimą, žymėjimą, keliavimą laiku, atkuriamumą – nenaudojant paties lakeFS. Pagrindinės priežastys, kodėl žmonės renkasi alternatyvas:
- Jūs gyvenate duomenų saugykloje, o ne duomenų ežere. Jums reikia versijų valdymo „Snowflake“, „BigQuery“, „Redshift“ arba „Databricks“ viduje, o ne S3 arba GCS.
- Jūs teikiate pirmenybę lentelių formatams, o ne globaliems katalogams. „Apache Iceberg“ ir „Delta Lake“ suteikia momentinių nuotraukų pagrindu sukurtą versijų valdymą lentelės lygiu.
- Jums reikia lengvesnės duomenų kilmės ir valdymo. Galbūt galite pasiekti savo tikslą naudodami dbt momentines nuotraukas, keliones laiku arba katalogą.
- Jūs turite griežtas infrastruktūros taisykles. Atskirtas nuo oro, vietinis arba tiekėjo įsipareigojimų politika, kuri yra griežtesnė nei jūsų vidurinės mokyklos bibliotekininko.
Pakeliui palyginsime įrankius, parodysime mini apžvalgas ir pateiksime praktinių patarimų, kad galėtumėte išbandyti šiuos dalykus nesustabdydami surinkimo linijos.
Trumpasis sąrašas: LakeFS alternatyvos pagal skonį
Pagalvokite apie lakeFS kaip apie „globalų Git ežerui“, kuris yra sluoksniuotas ant objektų saugyklos. Alternatyvos paprastai skirstomos į šias kategorijas:
- Lentelių formatai su kelionėmis laiku
- Delta Lake (Databricks ir atvirojo kodo)
- Duomenų saugykloje integruotas versijų valdymas
- Snowflake Time Travel ir nulinio kopijavimo klonavimas
- BigQuery momentinės nuotraukos ir lentelių klonai
- Redshift momentinės nuotraukos (su išlygomis)
- Unity Catalog (Databricks)
- AWS Glue Data Catalog + Lake Formation
- Atvirojo kodo katalogai, tokie kaip Nessie (skirtas Iceberg)
- Darbo eigos + modeliavimo metodai
- dbt momentinės nuotraukos ir seeds
- Orkestravimas su duomenų kilme (Dagster, Prefect)
- Versijuotos objektų saugyklos ir duomenų portalai
- Pachyderm (versijuoti duomenų apdorojimo srautai)
- Quilt (S3 duomenų paketų versijų valdymas)
- DVC (Data Version Control) su nuotoline saugykla
Išpakuokime kiekvieną – ką jis daro, kam jis skirtas ir kaip jis lyginamas su lakeFS.
Lentelių formatai: Iceberg, Delta ir Hudi
Jei lakeFS yra „Git jūsų ežerui“, lentelių formatai yra „kelionių laiku lentelės jūsų ežere“. Jie saugo duomenis kartu su operacijų žurnalu, kad galėtumėte daryti momentines nuotraukas, atšaukti ir šakoti (įvairiais būdais) lentelės lygiu. Pliusai? Jūs gaunate ACID, schemos evoliuciją ir nuoseklius skaitymus. Trūkumas? Versijų valdymas yra kiekvienai lentelei, o ne visam kaušui.
Apache Iceberg: ramus, standartais besivadovaujantis suaugęs žmogus kambaryje
- Kas tai yra: Atviras lentelės formatas, kuris aiškiai atskiria metaduomenis nuo duomenų failų, su momentinėmis nuotraukomis, skaidinių evoliucija ir daugybe variklių palaikymo (Spark, Flink, Trino, Snowflake, Athena ir kt.).
- Kodėl tai yra alternatyva: Galite keliauti laiku ir žymėti lentelių momentines nuotraukas be globalaus sluoksnio, tokio kaip lakeFS. Su tokiu katalogu kaip Nessie, galite gauti į Git panašias savo lentelės metaduomenų šakas daugybėje lentelių.
- Kur jis spindi: Daugiavariklinės parduotuvės, besikeičiančios schemos ir kai norite išvengti patentuoto įsipareigojimo. Iceberg manifestas ir metaduomenų medžiai yra tvarkingi; jis gerai keičiasi.
- Kliūtys: Šakojimas orientuotas į metaduomenis; koordinavimas tarp lentelių yra lengvesnis naudojant katalogą (pvz., Nessie). Vis tiek valdysite orkestravimą ir izoliaciją tarp užduočių.
Išbandykite demonstracinę versiją:
- Sukurkite Iceberg lentelę, paleiskite savo ETL
dev šakoje Nessie, patvirtinkite rezultatus, tada greitai persukite sujungimą į main. Jei kažkas sugenda, galite nukreipti skaitytojus atgal į N-1 momentinę nuotrauką.
LakeFS palyginimas: lakeFS suteikia jums objektų lygio šakas visam ežerui; Iceberg suteikia jums lentelės lygio momentines nuotraukas. Su Nessie, Iceberg pradeda jaustis šalia lakeFS.
Delta Lake: raumeningas automobilis – greitas, kategoriškas, myli Databricks
- Kas tai yra: Operacijų žurnalo formatas (atvirojo kodo) su vietiniu palaikymu Databricks. Funkcijos apima keliones laiku,
MERGE INTO ir keitimo duomenų srautą.
- Kodėl tai yra alternatyva: Delta kelionės laiku ir klonai išsprendžia daugumą „oops“ akimirkų. Databricks, Unity Catalog prideda valdymą ir tarpdarbų erdvės patikimumą.
- Kur jis spindi: Jei jau esate Databricks. Jis yra patogus, dokumentai geri, o našumo derinimas yra aukščiausio lygio pilietis.
- Kliūtys: Už Databricks ribų funkcijų paritetas gali vėluoti. Šakojimas tarp lentelių vis dar nėra tas pats, kas globalios ežero šakos.
Išbandykite demonstracinę versiją:
- Sukurkite Delta lentelę, paleiskite eksperimentus „dev“ schemoje, naudokite
VERSION AS OF, kad palygintumėte metrikas, tada paleiskite gamybą su klonavimu ir keitimu.
LakeFS palyginimas: Delta puikiai apsaugo lenteles; lakeFS apsaugo „viską kauše“, įskaitant netabelinius artefaktus (modelius, vaizdus, CSV failus).
Apache Hudi: CDC draugiškas darbinis arklys
- Kas tai yra: Lentelės formatas, optimizuotas upsertams ir keitimo srautams, su copy-on-write ir merge-on-read režimais.
- Kodėl tai yra alternatyva: Puikiai tinka, kai jūsų duomenys atkeliauja kaip nenumaldomas srautas ir jums reikia laipsniško apdorojimo ir atšaukimo.
- Kur jis spindi: Įvykių kupini apdorojimo srautai, beveik realaus laiko įvedimas ir CDC.
- Kliūtys: Derinimas gali jaustis kaip reaktyvinio variklio konfigūravimas. Dokumentacija patobulinta, tačiau yra mokymosi kreivė.
LakeFS palyginimas: Hudi puikiai tvarko laipsniškumą; lakeFS tvarko globalų versijų valdymą ir skatinimo darbo eigas. Jie gali egzistuoti kartu.
Duomenų saugykloje integruotas versijų valdymas: Snowflake, BigQuery, Redshift
Jei gyvenate duomenų saugykloje, galite stebėtinai toli nueiti be duomenų ežero Git sluoksnio.
Snowflake Time Travel ir nulinio kopijavimo klonavimas
- Kas tai yra: „Atsukimo mygtukas“, integruotas į Snowflake. Atkurkite lenteles, schemas ar duomenų bazes į ankstesnį tašką; klonuokite visas aplinkas nedubliuodami saugyklos.
- Kodėl tai yra alternatyva: Juokingai lengva paleisti kūrimo aplinką (dev sandbox), išbandyti ir atmesti.
- Kur jis spindi: Analitikos komandos, kurios nori atkuriamumo nesimokydamos naujų įrankių.
- Kliūtys: Kelionių laiku saugojimas kainuoja pinigus ir pasiekia didžiausią nustatytą laikotarpį (iki 90 dienų aukštesniuose lygiuose). Tai tik Snowflake.
Išbandykite demonstracinę versiją:
CREATE DATABASE stage CLONE prod; Paleiskite savo transformacijas; jei ji dainuoja, sujungkite atgal. Jei ji kurkia, numeskite kloną ir nueikite.
LakeFS palyginimas: lakeFS tvarko failus S3/GCS/Azure ir apdorojimo srautus aplink juos. Snowflake magija lieka Snowflake žemėje.
BigQuery momentinės nuotraukos ir lentelių klonai
- Kas tai yra: Sukurkite lentelių momentines nuotraukas, naudokite
FOR SYSTEM_TIME AS OF užklausas ir vis dažniau lentelių klonus.
- Kodėl tai yra alternatyva: Labai paprasta, be serverių, be operacijų. Puikiai tinka eksperimentams ir palyginimams.
- Kliūtys: Momentinės nuotraukos ir klonai yra kiekvienai lentelei; koordinavimas tarp daugelio lentelių yra „pasidaryk pats“.
Redshift ir draugai
- Kas tai yra: Galite daryti klasterių momentines nuotraukas ir naudoti RA3 funkcijas; tai nėra taip sklandu kaip Snowflake Time Travel.
- Naudojimo atvejis: Mažesnės parduotuvės, kurios jau yra standartizuotos AWS ir nori „pakankamai gero“ atšaukimo.
Katalogai ir valdymas: Unity, Glue ir Nessie
Jie patys neversijuoja duomenų (dažniausiai), bet jie įneša tvarką – ir kartais šakojimą – į jūsų lenteles.
- Unity Catalog (Databricks): Centralizuoti leidimai, duomenų kilmė ir duomenų atradimas tarp darbų erdvių. Su Delta tai yra valdymo galios padidinimas.
- AWS Glue + Lake Formation: Leidimai ir katalogavimas S3. Jūs susiesite tai su Iceberg/Delta/Hudi versijų valdymo daliai.
- Project Nessie: Į Git panašus katalogas Iceberg, kuris įgalina lentelių metaduomenų šakas/žymes daugybėje lentelių. Tai yra „Aha!“, dėl kurio Iceberg jaučiasi šalia lakeFS.
Darbo eigos metodai: dbt, Dataform ir orkestratoriai
Jei jūsų klausimas yra „Kaip aš galiu atkurti šį rezultatą antradienį?“, kartais atsakymas nėra naujas saugojimo sluoksnis – tai disciplina ir metaduomenys.
- dbt momentinės nuotraukos: Užfiksuokite lėtai besikeičiančius matmenis ir saugokite istorinę pakeitimų knygą. Tai nėra duomenų šakojimas, bet tai neįkainojama audito takams.
- Seeds ir artefaktai: Versijuokite įvesties CSV failus kaip seeds; patikrinkite juos Git; padarykite modelius atkuriamus prisegę versijas.
- Orkestratoriai su duomenų kilme (Dagster, Prefect): Stebėkite priklausomybes, materializuokite kūrimo vs. gamybos išteklius ir patvirtinkite prieš skatinimą.
Tai yra „proceso alternatyvos“. Jie neatsuks viso jūsų ežero atgal, bet jie gali padaryti gedimus retesnius – ir atsigavimą greitesnį.
Versijuotos objektų saugyklos ir duomenų portalai: Pachyderm, Quilt, DVC
- Pachyderm: Git duomenų apdorojimo srautams su konteinerizuotais žingsniais ir kilme. Jei gyvenate ML ir norite viso atkuriamumo, tai yra katžolė.
- Quilt: Elkitės su S3 kaip su duomenų rinkinių paketų tvarkykle. Jūs publikuojate versijuotus „paketus“ su dokumentacija ir peržiūra, puikiai tinka dalijimuisi.
- DVC: Į Git panašus didelių failų stebėjimas su nuotoliniais (S3, GCS ir kt.). Puikiai tinka ML eksperimentams, modelių ir duomenų rinkinių versijoms bei CI integracijai.
Palyginti su lakeFS, jie labiau linkę į ML darbo eigas arba žmonėms patogų duomenų rinkinių pakavimą nei viso ežero šakojimą.
LakeFS alternatyvos pasirinkimas: praktinis kontrolinis sąrašas
Štai jūsų filtras be nesąmonių, kurį galite paleisti per 10 minučių:
- Kur gyvena jūsų duomenys?
- Daugiausia duomenų saugykloje → Pradėkite nuo duomenų saugykloje integruoto klonavimo/kelionių laiku („Snowflake“, „BigQuery“). Tai yra „nemokama“ pagal darbuotojų skaičių.
- Objektų saugykla + atviri varikliai → Apsvarstykite Iceberg arba Delta; pridėkite Nessie arba Unity Catalog valdymui.
- ML sunkūs apdorojimo srautai → Pažvelkite į DVC arba Pachyderm eksperimentų atkuriamumui.
- Ką jums reikia versijuoti?
- Visas ežeras, įvairių formatų, plius netabeliniai artefaktai (vaizdai, modeliai) → lakeFS sunku įveikti; alternatyvos yra kombinacijos.
- Pagrindinės analitikos lentelės → Iceberg/Delta/Hudi arba duomenų saugyklos klonai.
- Kaip greitai jums reikia atšaukti?
- Minutės: momentinės nuotraukos/klonai (Snowflake, Delta).
- Valandos: Iceberg su katalogo šakojimu.
- Akimirksniu viskas: lakeFS arba labai disciplinuoti paketais pagrįsti metodai.
- Duomenų inžinieriai, patogiai dirbantys su Spark/Trino → Iceberg/Delta yra gerai.
- Analitikai, gyvenantys SQL → Duomenų saugykloje integruotas laimi širdis.
- ML tyrėjai → DVC/Pachyderm jaučiasi natūraliai.
- Reikia nekeičiamos istorijos ir žymių → Iceberg/Delta momentinės nuotraukos, dbt momentinės nuotraukos arba DVC su nuotoliniu.
- Reikia kryžminių duomenų rinkinių, žmonėms suprantamų pakeitimų pastabų → lakeFS arba Nessie šakojimas su pull requests.
Parodymas ir pasakojimas: du realistiški modeliai be lakeFS
Apžvelkime du modelius, kuriuos galite išbandyti šią popietę – nereikia šalmo.
A modelis: pirmenybė duomenų saugyklai, momentinės smėlio dėžės (Snowflake arba BigQuery)
- Įdėkite gamybą į
prod duomenų bazę.
- Kiekvieną naktį
CREATE DATABASE dev CLONE prod (Snowflake) arba sukurkite lentelių klonus/momentines nuotraukas (BigQuery).
- Peradresuokite savo BI į
dev bandymų metu.
- Paleiskite transformacijas
dev.
- Patvirtinkite KPI, paleiskite duomenų testus (pvz., dbt
tests) ir palyginkite su prod.
- Jei žalia, paleiskite savo „skatinimą“ (tai gali būti peržiūros sukeitimas arba
MERGE atlikimas).
- Jei raudona, numeskite kloną. Nereikia valymo konfeti.
- Argumentai „už“: Greitas, paprastas, puikiai tinka analitikams.
- Argumentai „prieš“: Tik duomenų saugykla; artefaktai objektų saugykloje (pvz., ML modeliai) neįtraukiami.
B modelis: atviras ežeras su Iceberg + Nessie (Git lentelėms)
- Saugokite duomenis S3/GCS/Azure.
- Naudokite Iceberg lenteles su Nessie katalogu.
- Konfigūruokite Spark/Trino, kad nukreiptumėte į Nessie.
- Sukurkite
feature-exp šaką Nessie.
- Paleiskite ETL, kad materializuotumėte naujus stulpelius arba pataisymus į Iceberg lenteles.
- Paleiskite patvirtinimus (eilučių skaičius, nulių patikrinimai, paskirstymo dreifas).
- Jei patenkinti, greitai persukite
main į feature-exp. Jei ne, atsisakykite šakos.
- Argumentai „už“: Atvira, nuo variklio nepriklausoma, į Git panaši semantika lentelių metaduomenims.
- Argumentai „prieš“: Versijų valdymo apimtis yra lentelių metaduomenys/failai, o ne visas jūsų įvairių dalykų kaušas. Vis tiek norėsite strategijos netabeliniams ištekliams.
Kada vis dar galite norėti lakeFS
Teisinga yra teisinga: kartais globalios šakos modelis yra geriausias įrankis.
- Jums reikia vieno atominio jungiklio daugeliui formatų vienu metu. Parquet lentelės, CSV nuorodos duomenys, ML modeliai ir dokumentai – skatinami kartu.
- Jums reikia objektų lygio izoliacijos sudėtinguose apdorojimo srautuose. Parengti, išbandyti ir sujungti kaip programinės įrangos leidimą.
- Jums reikia žmonėms patogių peržiūrų. Šaka, paleiskite patvirtinimus, atidarykite PR stiliaus peržiūrą, sujungkite.
Jei tokia yra jūsų situacija, alternatyvos pradeda atrodyti taip, lyg atkurtumėte lakeFS iš dalių. Tam tikru momentu tai yra panašu į savo duonos raugo gaminimą: įmanoma, skanu ir oho, kiek daug priežiūros reikia.
Trumpas žodis apie išlaidas ir sudėtingumą
- Pirmenybė duomenų saugyklai: Mokėsite už klonus/kelionių laiku saugojimą, bet greičiausiai sutaupysite smegenų ląstelių. Lengvas įvedimas.
- Lentelių formatai: Infrastruktūros išmanančios komandos pamils kontrolę ir variklio lankstumą. Tikėkitės daugiau rankenėlių.
- Į ML orientuoti įrankiai: DVC ir Pachyderm spindi eksperimentų stebėjime, bet juos susiesite su analitika.
- Katalogai: Valdymas yra nuostabus – kol kažkas turi jį prižiūrėti. Suplanuokite laiką politikos valdymui.
Taisyklė: jei jūsų komandos dydis yra mažesnis nei dešimt ir 90 % jūsų darbo yra SQL analitika, pradėkite duomenų saugykloje. Jei esate platformos komanda, aptarnaujanti penkis skyrius, įvertinsite Iceberg/Delta + katalogo architektūrinę erdvę.
Štai staigmena: Sider.AI gali padėti sutramdyti netvarkingas šių įrankių dalis, ypač kai žongliruojate dokumentacija, SQL testais ir „kas pasikeitė?“ pasakojimais. Tai yra patogu paversti šakų skirtumus ar momentinių nuotraukų palyginimus į žmonėms suprantamas santraukas, kurias jūsų suinteresuotosios šalys gali iš tikrųjų suprasti. Tai nėra versijų valdymo sistema savaime – nemėginkite priversti jos atsukti jūsų ežero atgal – bet kaip pagalbininkas peržiūroms, bandymų planavimui ir greitam scenarijų generavimui, ji užsitarnauja savo apsiaustą. Sprendimų matrica: ką pasirinkti, kada
- Pasirinkite Iceberg (+ Nessie), jei: Norite atvirų standartų, kelių variklių palaikymo ir į Git panašių šakų daugybėje lentelių.
- Pasirinkite Delta (+ Unity Catalog), jei: Esate laimingai Databricks ir norite sklandžiausio važiavimo.
- Pasirinkite Hudi, jei: Gyvenate CDC ir srautiniuose naujinimuose.
- Pasirinkite Snowflake Time Travel/Klonus, jei: Jūsų gyvenimas yra SQL prietaisų skydeliai ir jūs trokštate lengvų smėlio dėžių.
- Pasirinkite BigQuery momentines nuotraukas/klonus, jei: Mėgstate be serverių ir norite neskausmingų mokėjimo pagal poreikį eksperimentų.
- Pasirinkite DVC arba Pachyderm, jei: ML eksperimentai ir kilmė yra jūsų kasdienė duona.
- Pasirinkite Quilt, jei: Dalinatės kuruojamais, dokumentuotais duomenų rinkiniais su žmonėmis.
Ir taip, galite maišyti ir derinti. Daugelis komandų vienu metu naudoja Delta kuruojamiems martams, DVC ML ir duomenų saugyklos klonus BI – visus vienu metu. Tai yra bufetas, o ne fiksuotas meniu.
Trikčių šalinimo kampelis: dažni „Versijų valdymo“ nesėkmės
- „Mano kūrimo testas išlaikė, bet gamyba sugedo.“ Jūs paskatinote lentelę, bet ne nuorodos failus (paieškos, modeliai). Apsvarstykite pakavimą arba į lakeFS panašų globalų skatinimą arba laikykite nuorodas duomenų saugykloje.
- „Kelionės laiku mane išgelbėjo – kol nesibaigė saugojimo langas.“ Nustatykite įspėjimus apie saugojimo langus, pažymėkite svarbias momentines nuotraukas arba eksportuokite į nekeičiamą saugyklą.
- „Variklis A mato duomenis, kurių nematė Variklis B.“ Katalogo nuoseklumo problema. Standartizuokite vieną katalogą (Nessie/Unity/Glue) kiekvienai aplinkai.
- „Schema evolved; downstream panicked.“ Naudokite lentelių formatus, kurie palaiko schemų evoliuciją, ir pridėkite sutartis (testus, apribojimus) CI (nuolatinės integracijos) procese.
30 minučių bandomasis planas
- Klonuokite gamybinę aplinką į kūrimo aplinką (Snowflake/BigQuery).
- Paleiskite dbt užduotį; pridėkite 3 paprastus testus (not null, unique, accepted values).
- Palyginkite KPI; reklamuokite perjungiant rodinį.
- Sukurkite Iceberg lentelę ir Nessie šaką.
- Paleiskite nedidelę transformaciją, pridedant stulpelį.
- Patikrinkite eilučių skaičių ir null rodiklius; greitas sujungimas.
- Inicializuokite DVC saugyklą su nedideliu duomenų rinkiniu.
- Apmokykite du modelius, pažymėkite versijas.
- Sugeneruokite skirtumų ataskaitą; išsaugokite metrikas su įsipareigojimu.
Jei galite tai padaryti be didelio vargo, turite gyvybingą alternatyvą.
Esminis dalykas
Duomenų versijavimas nėra vien įrankio garbinimas. Tai yra apie pakartojamumą ir saugumą: ar galite išbandyti dalykus, nesugriaudami jų, ir ar galite greitai grįžti prie žinomos geros būsenos? lakeFS yra vienas elegantiškas būdas. Alternatyvos – Iceberg, Delta, Hudi, Snowflake, BigQuery, DVC, Nessie ir draugai – patenkina daugumą realaus pasaulio poreikių, jei pasirinksite tinkamą derinį.
Mano nuomonė: pradėkite nuo paprasčiausio dalyko, kuris suteikia jums atšaukimą ir izoliaciją aplinkoje, kurią jau žinote. Pridėkite valdymą ir katalogus, kai jūsų sprogimo spindulys auga. Ir kai žongliruojate lentelėmis, failais ir modeliais kaip liepsnojančiais deglais, atminkite: visada galite pasiekti įrankį, kuris visą ežerą traktuoja kaip Git saugyklą – arba maišykite ir derinkite, kol pasieksite tinkamą balansą.
Paskutinis dalykas: pavadinkite savo šakas taip, kad ateityje suprastumėte. „fix-metric-typo“ geriau nei „plswork“. Jūsų sveikas protas taip pat yra versijuojamas.
DUK
K1: Kokios yra geriausios lakeFS alternatyvos duomenų versijavimui?
Geriausios lakeFS alternatyvos yra Apache Iceberg (dažnai su Nessie), Delta Lake (ypač Databricks), Apache Hudi, skirtas CDC intensyviems vamzdynams, ir sandėlio gimtosios parinktys, tokios kaip Snowflake Time Travel ir BigQuery momentinės nuotraukos. ML naudojimo atvejams DVC ir Pachyderm yra stiprūs pasirinkimai.
K2: Kada turėčiau pasirinkti Iceberg arba Delta vietoj lakeFS?
Pasirinkite Iceberg arba Delta, kai pagrindiniai jūsų poreikiai yra lentelės lygio laiko kelionės, ACID transakcijos ir variklio integracija. Jei jums taip pat reikia įvairių formatų, viso ežero šakojimo ir ne lentelių turto reklamos, lakeFS vis dar turi pranašumą.
K3: Ar Snowflake Time Travel gali pakeisti lakeFS?
Tai gali padaryti sandėlio komandos. Snowflake Time Travel ir Zero-Copy Cloning leidžia lengvai kurti kūrimo smėlio dėžes ir atšaukimus, tačiau jie apima tik duomenis Snowflake viduje – ne jūsų objektų saugyklą, ML modelius ar atsitiktinius failus.
K4: Kaip Nessie paverčia Iceberg lakeFS alternatyva?
Projektas Nessie prideda Git tipo šakas ir žymes prie jūsų Iceberg katalogo, leidžiančios išbandyti pakeitimus daugelyje lentelių ir reklamuoti juos kartu. Jis orientuotas į metaduomenis, todėl vis tiek planuosite ne lentelių turtą atskirai.
K5: Koks yra paprasčiausias būdas išbandyti lakeFS alternatyvą?
Jei esate sandėlyje, klonuokite gamybinę aplinką į kūrimo aplinką (Snowflake/BigQuery) ir išbandykite nedidelę transformaciją su testais. Atvirame ežere paleiskite Iceberg su Nessie šaka ir praktikuokite greitą sujungimą. ML atveju inicializuokite DVC, versijuokite duomenų rinkinį ir palyginkite du modelio paleidimus.
