Alternatif LakeFS: Cara Lebih Pintar untuk Mengawal Versi Data Anda Tanpa Hilang Akal
Pernahkah anda berharap agar tasik data anda berkelakuan seperti Git—tanpa arahan samar dan bahagian di mana rakan sekerja anda menamakan cabang “final_FINAL_betul_betul”? Saya juga. Itulah janji alat kawalan versi data seperti lakeFS: cabang untuk set data, eksperimen yang boleh dihasilkan semula, pengembalian jika seseorang memasukkan CSV dengan lajur yang disusun seperti dek kad Uno.
Tetapi lakeFS bukan satu-satunya pilihan anda. Mungkin anda berada di premis. Mungkin anda alah kepada semantik storan objek. Mungkin anda hanya mahukan persediaan yang lebih murah, lebih mudah atau lebih berpusatkan gudang. Hari ini kita akan melakukan lawatan mesra dan berbahasa Inggeris mudah ke alternatif lakeFS—apa yang mereka kuasai, di mana mereka goyah, dan cara memilih satu tanpa mengorbankan hujung minggu anda.
Spoiler: Tiada pemenang tunggal di sini. Ia lebih seperti memilih beg pakaian yang sesuai untuk perjalanan anda. Beg galas untuk pendakian harian, beg beroda untuk lapangan terbang, peti stim jika anda memindahkan simfoni. Mari padankan beg pakaian dengan perjalanan anda.
Apa yang Kami Maksudkan dengan “Alternatif LakeFS” (Dan Mengapa Anda Mungkin Mahukannya)
Alternatif LakeFS ialah alat dan corak yang memberi anda pengawalan versi seperti Git untuk data—pencabangan, penandaan, perjalanan masa, kebolehulangan—tanpa menggunakan lakeFS itu sendiri. Sebab utama orang ramai memilih alternatif:
- Anda berada dalam gudang data, bukan tasik data. Anda mahukan pengawalan versi di dalam Snowflake, BigQuery, Redshift, atau Databricks, bukan S3 atau GCS.
- Anda lebih suka format jadual berbanding katalog global. Apache Iceberg dan Delta Lake memberi anda pengawalan versi berasaskan syot kilat pada peringkat jadual.
- Anda mahukan salasilah dan tadbir urus yang lebih ringan. Mungkin anda boleh sampai ke tempat yang anda tuju dengan syot kilat dbt, perjalanan masa, atau katalog.
- Anda mempunyai peraturan infra yang ketat. Terpencil udara, di premis, atau dasar penguncian vendor yang lebih ketat daripada pustakawan sekolah menengah anda.
Sepanjang perjalanan, kami akan membandingkan alat, menunjukkan panduan mini, dan memberikan petua praktikal supaya anda boleh menguji perkara ini tanpa menghentikan barisan pemasangan.
Senarai Pendek: Alternatif LakeFS Mengikut Citarasa
Anggap lakeFS sebagai “Git global untuk tasik” yang diletakkan di atas storan objek. Alternatif biasanya dipecahkan kepada kategori ini:
- Format jadual dengan perjalanan masa
- Delta Lake (Databricks dan sumber terbuka)
- Pengawalan versi natif gudang
- Snowflake Time Travel dan Pengklonan Sifar Salinan
- Syot kilat BigQuery dan klon jadual
- Syot kilat Redshift (dengan peringatan)
- Unity Catalog (Databricks)
- AWS Glue Data Catalog + Lake Formation
- Katalog sumber terbuka seperti Nessie (untuk Iceberg)
- Pendekatan aliran kerja + pemodelan
- Orkestrasi dengan salasilah (Dagster, Prefect)
- Storan objek dan portal data versi
- Pachyderm (saluran paip data versi)
- Quilt (Pengawalan versi pakej data S3)
- DVC (Data Version Control) dengan storan jauh
Mari kita bongkar setiap satu—apa yang ia lakukan, untuk siapa ia, dan bagaimana ia dibandingkan dengan lakeFS.
Format Jadual: Iceberg, Delta, dan Hudi
Jika lakeFS ialah “Git untuk tasik anda,” format jadual ialah “jadual perjalanan masa di dalam tasik anda.” Ia menyimpan data bersama-sama dengan log transaksi supaya anda boleh mengambil syot kilat, membuat pengembalian dan mencabang (dalam cara yang berbeza) pada peringkat jadual. Kelebihannya? Anda mendapat ACID, evolusi skema dan bacaan yang konsisten. Kelemahannya? Pengawalan versi adalah setiap jadual, bukan merentasi keseluruhan bucket.
Apache Iceberg: Dewasa yang Tenang dan Mengutamakan Piawaian
- Apa itu: Format jadual terbuka yang memisahkan metadata daripada fail data dengan bersih, dengan syot kilat, evolusi partition dan banyak sokongan enjin (Spark, Flink, Trino, Snowflake, Athena dan banyak lagi).
- Mengapa ia merupakan alternatif: Anda boleh melakukan perjalanan masa dan menandai syot kilat jadual tanpa lapisan global seperti lakeFS. Dengan katalog seperti Nessie, anda boleh mendapatkan cabang seperti Git untuk metadata jadual anda merentasi banyak jadual.
- Di mana ia menyerlah: Kedai berbilang enjin, skema yang berkembang dan apabila anda ingin mengelakkan penguncian proprietari. Manifestasi dan pepohon metadata Iceberg adalah teratur; ia berskala dengan baik.
- Perkara yang perlu diberi perhatian: Pencabangan berpusatkan metadata; penyelarasan rentas jadual lebih mudah dengan katalog (cth., Nessie). Anda masih akan mengurus orkestrasi dan pengasingan merentasi pekerjaan.
Cuba demo:
- Cipta jadual Iceberg, jalankan ETL anda pada cabang
dev dalam Nessie, sahkan hasil, kemudian gabungkan fast-forward ke main. Jika sesuatu rosak, anda boleh menghalakan pembaca kembali ke syot kilat N-1.
Perbandingan LakeFS: lakeFS memberi anda cabang peringkat objek untuk keseluruhan tasik; Iceberg memberi anda syot kilat peringkat jadual. Dengan Nessie, Iceberg mula terasa bersebelahan dengan lakeFS.
Delta Lake: Kereta Berotot—Pantas, Berpendirian Tegas, Sukakan Databricks
- Apa itu: Format log transaksi (sumber terbuka) dengan sokongan natif dalam Databricks. Ciri-ciri termasuk perjalanan masa,
MERGE INTO, dan suapan data perubahan.
- Mengapa ia merupakan alternatif: Perjalanan masa dan klon Delta mengendalikan kebanyakan detik “oops”. Dalam Databricks, Unity Catalog menambah tadbir urus dan kewarasan merentas ruang kerja.
- Di mana ia menyerlah: Jika anda sudah berada dalam Databricks. Ia ergonomik, dokumentasinya bagus dan penalaan prestasi adalah warganegara kelas pertama.
- Perkara yang perlu diberi perhatian: Di luar Databricks, pariti ciri mungkin ketinggalan. Pencabangan rentas jadual masih tidak sama dengan cabang tasik global.
Cuba demo:
- Cipta jadual Delta, jalankan eksperimen dalam skema “dev”, gunakan
VERSION AS OF untuk membandingkan metrik, kemudian hasilkan dengan klon dan swap.
Perbandingan LakeFS: Delta melindungi jadual dengan cemerlang; lakeFS melindungi “segala-galanya dalam bucket,” termasuk artifak bukan jadual (model, imej, CSV).
Apache Hudi: Kuda Beban Kerja Mesra CDC
- Apa itu: Format jadual yang dioptimumkan untuk upsert dan aliran perubahan, dengan mod salin semasa tulis dan gabung semasa baca.
- Mengapa ia merupakan alternatif: Hebat apabila data anda tiba sebagai titisan yang tidak henti-henti dan anda memerlukan pemprosesan tambahan dan pengembalian.
- Di mana ia menyerlah: Saluran paip berat sebelah acara, pengambilan hampir masa nyata dan CDC.
- Perkara yang perlu diberi perhatian: Penalaan boleh terasa seperti mengkonfigurasi enjin jet. Dokumentasi telah dipertingkatkan, tetapi terdapat keluk pembelajaran.
Perbandingan LakeFS: Hudi mengendalikan penambahan seperti juara; lakeFS mengendalikan pengawalan versi global dan aliran kerja promosi. Mereka boleh wujud bersama.
Pengawalan Versi Natif Gudang: Snowflake, BigQuery, Redshift
Jika anda berada di dalam gudang, anda boleh pergi agak jauh tanpa lapisan Git tasik data.
Snowflake Time Travel dan Pengklonan Sifar Salinan
- Apa itu: “Butang undur” yang dibina ke dalam Snowflake. Pulihkan jadual, skema atau pangkalan data ke titik sebelumnya; klon keseluruhan persekitaran tanpa menduplikasi storan.
- Mengapa ia merupakan alternatif: Sangat mudah untuk memutar kotak pasir dev, menguji dan membuang.
- Di mana ia menyerlah: Pasukan analitik yang mahukan kebolehulangan tanpa mempelajari alat baharu.
- Perkara yang perlu diberi perhatian: Pengekalan Time Travel memerlukan kos dan mencapai had pada tetingkap yang ditetapkan (sehingga 90 hari pada peringkat yang lebih tinggi). Ia hanya Snowflake.
Cuba demo:
CREATE DATABASE stage CLONE prod; Jalankan transformasi anda; jika ia bernyanyi, gabungkan semula. Jika ia berbunyi, jatuhkan klon dan beredar.
Perbandingan LakeFS: lakeFS mengendalikan fail dalam S3/GCS/Azure dan saluran paip di sekelilingnya. Keajaiban Snowflake kekal di dalam Snowflake-land.
Syot Kilat BigQuery dan Klon Jadual
- Apa itu: Cipta syot kilat jadual, gunakan pertanyaan
FOR SYSTEM_TIME AS OF, dan semakin meningkat, klon jadual.
- Mengapa ia merupakan alternatif: Sangat mudah, tanpa pelayan, tiada operasi. Hebat untuk eksperimen dan perbandingan.
- Perkara yang perlu diberi perhatian: Syot kilat dan klon adalah setiap jadual; penyelarasan merentasi banyak jadual adalah DIY.
Redshift dan Rakan-rakan
- Apa itu: Anda boleh mengambil syot kilat kelompok dan menggunakan ciri RA3; ia tidak selancar Time Travel Snowflake.
- Kes penggunaan: Kedai yang lebih kecil sudah diseragamkan pada AWS yang mahukan pengembalian “cukup baik”.
Katalog dan Tadbir Urus: Unity, Glue, dan Nessie
Ini tidak mengawal versi data dengan sendirinya (kebanyakannya), tetapi ia membawa susunan—dan kadangkala pencabangan—pada jadual anda.
- Unity Catalog (Databricks): Kebenaran terpusat, salasilah dan penemuan data merentasi ruang kerja. Dengan Delta, ia merupakan peningkatan kuasa tadbir urus.
- AWS Glue + Lake Formation: Kebenaran dan pengkatalogan untuk S3. Anda akan memasangkan ini dengan Iceberg/Delta/Hudi untuk bahagian pengawalan versi.
- Project Nessie: Katalog seperti Git untuk Iceberg yang mendayakan cabang/tag untuk metadata jadual merentasi banyak jadual. Ia adalah “Aha!” yang menjadikan Iceberg terasa bersebelahan dengan lakeFS.
Pendekatan Aliran Kerja: dbt, Dataform dan Orkestrator
Jika soalan anda ialah “Bagaimanakah saya mencipta semula hasil ini pada hari Selasa?”, kadangkala jawapannya bukanlah lapisan storan baharu—ia adalah disiplin dan metadata.
- Syot kilat dbt: Tangkap dimensi yang berubah perlahan dan simpan lejar perubahan sejarah. Ia bukan data pencabangan, tetapi ia tidak ternilai untuk jejak audit.
- Seeds dan artifak: Data CSV input versi sebagai seeds; semaknya ke dalam Git; jadikan model boleh dihasilkan semula dengan menyematkan versi.
- Orkestrator dengan salasilah (Dagster, Prefect): Jejaki pergantungan, wujudkan aset dev vs. prod dan sahkan sebelum promosi.
Ini ialah “alternatif proses.” Ia tidak akan mengundur keseluruhan tasik anda, tetapi ia boleh menjadikan kerosakan lebih jarang—dan pemulihan lebih cepat.
Storan Objek dan Portal Data Versi: Pachyderm, Quilt, DVC
- Pachyderm: Git untuk saluran paip data dengan langkah dan provenans yang dikontainerkan. Jika anda berada dalam ML dan mahukan kebolehulangan hujung ke hujung, ini adalah catnip.
- Quilt: Anggap S3 seperti pengurus pakej untuk set data. Anda menerbitkan “pakej” versi dengan dokumentasi dan pratonton, bagus untuk perkongsian.
- DVC: Penjejakan seperti Git untuk fail besar, dengan alat kawalan jauh (S3, GCS, dll.). Hebat untuk eksperimen ML, model dan versi set data serta penyepaduan CI.
Berbanding dengan lakeFS, ini lebih cenderung ke arah aliran kerja ML atau pembungkusan set data mesra manusia berbanding pencabangan seluruh tasik.
Memilih Alternatif LakeFS Anda: Senarai Semak Praktikal
Berikut ialah penapis tidak masuk akal yang boleh anda jalankan dalam 10 minit:
- Di manakah data anda berada?
- Kebanyakannya gudang → Mulakan dengan pengklonan/perjalanan masa natif gudang (Snowflake, BigQuery). Ia “percuma” dalam bilangan kepala.
- Storan objek + enjin terbuka → Pertimbangkan Iceberg atau Delta; tambahkan Nessie atau Unity Catalog untuk tadbir urus.
- Saluran paip berat ML → Lihat DVC atau Pachyderm untuk kebolehulangan eksperimen.
- Apakah yang anda perlu versikan?
- Seluruh tasik, format silang, serta artifak bukan jadual (imej, model) → lakeFS sukar untuk dikalahkan; alternatif ialah kombinasi.
- Jadual analitik teras → Klon Iceberg/Delta/Hudi atau gudang.
- Seberapa cepat anda perlu membuat pengembalian?
- Minit: Syot kilat/klon (Snowflake, Delta).
- Jam: Iceberg dengan pencabangan katalog.
- Serta-merta merentasi segala-galanya: lakeFS atau pendekatan berasaskan pakej yang sangat berdisiplin.
- Jurutera data selesa dengan Spark/Trino → Iceberg/Delta baik-baik saja.
- Penganalisis yang tinggal dalam SQL → Gudang-natif memenangi hati.
- Penyelidik ML → DVC/Pachyderm terasa semula jadi.
- Perlukan sejarah dan teg yang tidak berubah → Syot kilat Iceberg/Delta, syot kilat dbt, atau DVC dengan alat kawalan jauh.
- Perlukan nota perubahan merentas set data, boleh dibaca manusia → lakeFS atau pencabangan Nessie dengan permintaan tarik.
Tunjuk dan Beritahu: Dua Corak Realistik Tanpa lakeFS
Mari kita telusuri dua corak yang boleh anda cuba petang ini—tidak memerlukan topi keledar.
Corak A: Gudang-Pertama, Kotak Pasir Segera (Snowflake atau BigQuery)
- Letakkan pengeluaran dalam pangkalan data
prod.
CREATE DATABASE dev CLONE prod (Snowflake) setiap malam atau cipta klon/syot kilat jadual (BigQuery).
- Halakan semula BI anda ke
dev semasa ujian.
- Jalankan transformasi dalam
dev.
- Sahkan KPI, jalankan ujian data (cth., dbt
tests), dan bandingkan dengan prod.
- Jika hijau, jalankan “promosi” anda (boleh jadi menukar pandangan atau melakukan
MERGE).
- Jika merah, jatuhkan klon. Tiada confetti pembersihan diperlukan.
- Kebaikan: Pantas, mudah, bagus untuk penganalisis.
- Keburukan: Hanya gudang; artifak dalam storan objek (seperti model ML) berada di luar skop.
Corak B: Tasik Terbuka dengan Iceberg + Nessie (Git untuk Jadual)
- Simpan data dalam S3/GCS/Azure.
- Gunakan jadual Iceberg dengan katalog Nessie.
- Konfigurasikan Spark/Trino untuk menghala ke Nessie.
- Cipta cabang
feature-exp dalam Nessie.
- Jalankan ETL untuk mewujudkan lajur atau pembetulan baharu ke dalam jadual Iceberg.
- Jalankan pengesahan (kiraan baris, semakan nol, hanyutan taburan).
- Jika gembira, fast-forward
main ke feature-exp. Jika tidak, tinggalkan cabang.
- Kebaikan: Terbuka, agnostik enjin, semantik seperti Git untuk metadata jadual.
- Keburukan: Skop pengawalan versi ialah metadata/fail jadual, bukan keseluruhan bucket barang-barang anda. Anda masih mahukan strategi untuk aset bukan jadual.
Apabila Anda Mungkin Masih Mahukan lakeFS
Adil adalah adil: Kadangkala model cabang global ialah alat yang terbaik.
- Anda memerlukan satu suis atom untuk banyak format sekali gus. Jadual Parquet, data rujukan CSV, model ML dan dokumen—dipromosikan bersama.
- Anda mahukan pengasingan peringkat objek merentasi saluran paip yang kompleks. Peringkat, uji dan gabungkan seperti keluaran perisian.
- Anda memerlukan ulasan mesra manusia. Cabang, jalankan pengesahan, buka ulasan gaya PR, gabungkan.
Jika itu keadaan anda, alternatif mula kelihatan seperti anda membina semula lakeFS daripada bahagian. Pada satu ketika, ia seperti membuat starter roti anda sendiri: boleh dilakukan, lazat dan oh boy, ia memerlukan banyak penjagaan.
Sedikit Perkataan tentang Kos dan Kerumitan
- Gudang-pertama: Anda akan membayar untuk pengekalan klon/perjalanan masa, tetapi anda mungkin akan menjimatkan sel otak. Pendaftaran mudah.
- Format jadual: Pasukan yang mahir infrastruktur akan menyukai kawalan dan fleksibiliti enjin. Jangkakan lebih banyak tombol.
- Alat berfokuskan ML: DVC dan Pachyderm menyerlah dalam penjejakan eksperimen, tetapi anda akan mencantumkannya pada analitik.
- Katalog: Tadbir urus adalah bagus—sehingga seseorang perlu menyelenggaranya. Anggarkan masa untuk pengurusan dasar.
Peraturan praktikal: Jika saiz pasukan anda kurang daripada sepuluh dan 90% daripada kerja anda ialah analitik SQL, mulakan di gudang. Jika anda pasukan platform yang berkhidmat untuk lima jabatan, anda akan menghargai ruang kaki seni bina Iceberg/Delta + katalog.
Berikut ialah kejutan: Sider.AI boleh membantu menjinakkan bahagian yang tidak kemas di sekeliling alat ini, terutamanya apabila anda menyulap dokumentasi, ujian SQL dan naratif “apa yang berubah?”. Ia berguna untuk menukar perbezaan cabang atau perbandingan syot kilat kepada ringkasan yang boleh dibaca manusia yang boleh difahami oleh pihak berkepentingan anda. Ia bukan sistem pengawalan versi dengan sendirinya—jangan cuba membuatnya mengundur tasik anda—tetapi sebagai pembantu untuk ulasan, perancangan ujian dan penjanaan skrip pantas, ia mendapat jubahnya. Matriks Keputusan: Apa yang Hendak Dipilih, Bila
- Pilih Iceberg (+ Nessie) jika: Anda mahukan piawaian terbuka, sokongan berbilang enjin dan cabang seperti Git merentasi banyak jadual.
- Pilih Delta (+ Unity Catalog) jika: Anda gembira berada di Databricks dan mahukan perjalanan yang paling lancar.
- Pilih Hudi jika: Anda tinggal di CDC dan kemas kini penstriman.
- Pilih Snowflake Time Travel/Klon jika: Kehidupan anda ialah papan pemuka SQL dan anda mengidamkan kotak pasir yang mudah.
- Pilih syot kilat/klon BigQuery jika: Anda sukakan tanpa pelayan dan mahukan eksperimen bayar mengikut penggunaan yang tidak menyakitkan.
- Pilih DVC atau Pachyderm jika: Eksperimen ML dan provenans adalah roti harian anda.
- Pilih Quilt jika: Anda berkongsi set data yang disusun dan didokumenkan dengan manusia.
Dan ya, anda boleh mencampur dan memadankan. Banyak pasukan menjalankan Delta untuk marts yang disusun, DVC untuk ML dan klon gudang untuk BI—semuanya sekali gus. Ia adalah bufet, bukan prix fixe.
Sudut Penyelesaian Masalah: Kegagalan Muka “Pengawalan Versi” Biasa
- “Ujian dev saya lulus, tetapi prod rosak.” Anda mempromosikan jadual tetapi bukan fail rujukan (carian, model). Pertimbangkan pembungkusan atau promosi global seperti lakeFS, atau simpan ref di dalam gudang.
- “Time Travel menyelamatkan saya—sehingga tetingkap pengekalan tamat tempoh.” Tetapkan makluman pada tetingkap pengekalan, tag syot kilat kritikal atau eksport ke storan yang tidak berubah.
- “Enjin A melihat data yang Enjin B tidak lihat.” Isu ketekalan katalog. Seragamkan pada satu katalog (Nessie/Unity/Glue) setiap persekitaran.
- “Skema berkembang; hiliran panik.” Gunakan format jadual yang menyokong evolusi skema dan tambahkan kontrak (ujian, kekangan) dalam CI.
Pelan Rintis 30 Minit
- Klon prod ke dev (Snowflake/BigQuery).
- Jalankan kerja dbt; tambahkan 3 ujian mudah (bukan null, unik, nilai yang diterima).
- Bandingkan KPI; naik taraf dengan menukar pandangan.
- Cipta jadual Iceberg dan cabang Nessie.
- Jalankan transformasi kecil yang menambahkan lajur.
- Sahkan kiraan baris dan kadar null; gabung ke hadapan pantas.
- Mulakan repo DVC dengan dataset kecil.
- Latih dua model, tag versi.
- Hasilkan laporan perbezaan; simpan metrik dengan commit.
Jika anda boleh melakukan perkara di atas tanpa berpeluh, anda mempunyai alternatif yang berdaya maju.
Kesimpulan
Pengversian data anda bukan tentang menyembah alat tunggal. Ia mengenai kebolehulangan dan keselamatan: bolehkah anda mencuba sesuatu tanpa merosakkan sesuatu, dan bolehkah anda kembali kepada yang diketahui baik dengan cepat? lakeFS ialah satu cara yang elegan. Alternatif—Iceberg, Delta, Hudi, Snowflake, BigQuery, DVC, Nessie, dan rakan-rakan—merangkumi kebanyakan keperluan dunia sebenar jika anda memilih kombo yang betul.
Pendapat saya: Mulakan dengan perkara paling mudah yang memberi anda pengembalian dan pengasingan dalam persekitaran yang sudah anda ketahui. Tambahkan tadbir urus dan katalog apabila radius letupan anda berkembang. Dan apabila anda meng juggling jadual, fail dan model seperti obor bernyala, ingat: anda sentiasa boleh mencapai alat yang menganggap keseluruhan tasik seperti repo Git—atau campur dan padan sehingga anda mendapat keseimbangan yang tepat.
Satu perkara terakhir: Namakan cabang anda sesuatu yang anda di masa hadapan akan fahami. “fix-metric-typo” lebih baik daripada “plswork”. Kewarasan anda juga diversikan.
Soalan Lazim
S1:Apakah alternatif lakeFS terbaik untuk pengversian data?
Alternatif lakeFS teratas termasuk Apache Iceberg (selalunya dengan Nessie), Delta Lake (terutamanya pada Databricks), Apache Hudi untuk saluran paip berat CDC, dan pilihan asli gudang seperti Snowflake Time Travel dan BigQuery snapshots. Untuk kes penggunaan ML, DVC dan Pachyderm adalah pilihan yang kukuh.
S2:Bilakah saya patut memilih Iceberg atau Delta dan bukannya lakeFS?
Pilih Iceberg atau Delta apabila perjalanan masa peringkat jadual, transaksi ACID dan penyepaduan enjin adalah keperluan utama anda. Jika anda juga memerlukan percabangan seluruh tasik merentas format dan promosi aset bukan jadual, lakeFS masih mempunyai kelebihan.
S3:Bolehkah Snowflake Time Travel menggantikan lakeFS?
Ia boleh untuk pasukan yang berpusatkan gudang. Time Travel dan Zero-Copy Cloning Snowflake memudahkan kotak pasir pembangunan dan pengembalian, tetapi ia hanya meliputi data di dalam Snowflake—bukan stor objek anda, model ML atau fail rawak.
S4:Bagaimanakah Nessie menjadikan Iceberg sebagai alternatif lakeFS?
Projek Nessie menambahkan cabang dan tag seperti Git pada katalog Iceberg anda, membolehkan anda menguji perubahan merentas banyak jadual dan mempromosikannya bersama-sama. Ia berfokuskan metadata, jadi anda masih akan merancang untuk aset bukan jadual secara berasingan.
S5:Apakah cara paling mudah untuk memulakan alternatif lakeFS?
Jika anda berada di dalam gudang, klon prod ke dev (Snowflake/BigQuery) dan cuba transformasi kecil dengan ujian. Dalam tasik terbuka, putarkan Iceberg dengan cabang Nessie dan praktikkan gabungan ke hadapan pantas. Untuk ML, mulakan DVC, versikan dataset dan bandingkan dua larian model.
