Which is better for ML experiments: lakeFS or DVC?

For ML experiments, DVC usually wins. It ties code, parameters, datasets, and models together, while lakeFS handles dataset isolation and time travel at the lake level.

Can I use lakeFS and DVC together without a mess?

Yes. Use lakeFS commits to version your lake datasets and reference those commit IDs in DVC. Let DVC handle artifacts and pipelines; let lakeFS handle branches and merges on object storage.

Does DVC replace a data lake or lakeFS?

No. DVC organizes large files and experiments around Git; it doesn’t turn S3 into a transactional store. lakeFS sits in front of your lake and adds branching, commits, and isolation.

Is lakeFS overkill for small teams?

Often, yes. If you’re not juggling multi-team isolation or governance, DVC’s simplicity is appealing. lakeFS makes sense when branch-based isolation and audit trails save real money or outages.

How do costs compare for lakeFS vs DVC?

DVC’s costs skew toward developer time and storage churn during push/pull. lakeFS’s costs skew toward running the service and managing policies, but branching is cheap and egress-friendly.

lakeFS ከ DVC ጋር ሲነጻጸር: የ version control ፋይል ሲስተም መሆን ይፈልጋል

ስለ ዳታ version control ያለው ነገር ሁሉም ሰው ልክ እንደ Git ለሁሉም ነገር ነው ብሎ ይስማማል - ነገር ግን በትልቅ ፔታባይት መጠን በቡድን ለመጠቀም ሲሞክሩ Git ለኮድ እንደነበረ ይገነዘባሉ። “የእርስዎን S3 bucket ልክ እንደ ሪፖ አድርገው ይያዙት” ይላሉ፣ ይህም አንድ ሲምፎኒ በቴክኒካል የንፋስ መሳሪያ ስለሆነ ካዙ እንዲጠቀም እንደመንገር ነው።

ይህ መፈክርን ስለሚጋሩ ሁለት የዓለም አመለካከቶች ታሪክ ነው lakeFS ከ DVC ጋር ሲነጻጸር። ሁለቱም መረጃዎች፣ ሞዴሎች እና ሙከራዎች በተለምዶ በሚጠፉበት ቦታ የአእምሮ ሰላም እንደሚያመጡ ቃል ገብተዋል። ነገር ግን ችግሩን ከተቃራኒ አቅጣጫዎች ያጠቃሉ። DVC ገንቢ-መጀመሪያ፣ ከ Git-አጠገብ ያለ የመሳሪያ ስብስብ ሲሆን ከሪፖዎ ጋር አብሮ የሚሄድ ነው። lakeFS ደግሞ ማከማቻ-ቤተኛ ሌየር ሲሆን የነገር ማከማቻዎን ወደ ቨርዥን በተደረገ የፋይል ሲስተም ከቅርንጫፎች፣ ከኮሚቶች እና ከማዋሃዶች ጋር ይቀይረዋል። ተመሳሳይ ዜማ፣ የተለያየ ቁልፍ ፊርማ።

እዚህ ፍርድ ለማግኘት ከመጡ፡ የትኛው ካምፕ ውስጥ እንዳሉ አስቀድመው ያውቁ ይሆናል። የዕለት ተዕለት ችግርዎ ትላልቅ ፋይሎችን እና የሞዴል ቼክፖይቶችን በድጋሚ የመፍጠር አቅም ዙሪያ ማንቀሳቀስ ከሆነ፣ DVC በጣም ብልህ የሆነ የኤክስቴንሽን ገመድ ይመስላል። ችግርዎ ብዙ ቡድኖችን ያካተተ የዳታ አስተዳደር፣ መነጠል እና በዳታ ሐይቅ ላይ እንደገና ሊፈጠሩ የሚችሉ ንባቦች ከሆነ lakeFS ቤቱን በራሱ የወረዳ መግቻዎችን እንደ መትከል ይሰማል።

እና አዎ, ሁለቱንም መጠቀም ይችላሉ. ይህ ማምለጫ አይደለም. የውሂብ ስራ አንድ አይነት ቲሸርት የለበሱ ብዙ ስራዎች መሆኑን መቀበል ነው።

የመሬት አቀማመጥ፡ DVC እና lakeFS በትክክል የሚያደርጉት ነገር

DVC (Data Version Control): ከ Git አጠገብ ይኖራል, በውስጡ አይደለም. በ Git ውስጥ ጠቋሚዎችን (ትንንሽ ሜታፋይሎችን) ቨርዥን ያደርጋሉ እና ትላልቅ ቅርሶችን - የውሂብ ስብስቦችን፣ ሞዴሎችን፣ ምስሎችን - በ S3፣ GCS፣ Azure፣ SSH ወይም በአካባቢያዊ መሸጎጫ ውስጥ ያከማቻሉ። በ CLI የሚመሩ ቧንቧዎችን፣ ለድጋሚ መፈጠር dvc.lock፣ የሙከራ ክትትል እና ለማመሳሰል dvc push/pull ያገኛሉ።

lakeFS: ከነገር ማከማቻዎ (S3፣ GCS፣ Azure Blob) ፊት ለፊት ተቀምጦ ቅርንጫፎችን እና ኮሚቶችን የማከማቻ ቦታ ስም የመጀመሪያ ደረጃ ባህሪ ያደርገዋል። ንባቦች እና ጽሑፎች የተነጠሉ ቅርንጫፎችን ያያሉ። ከ “ምርት” አንድ ቅርንጫፍ መፍጠር፣ ለውጦችን ማስኬድ እና ወደ ኋላ ማዋሃድ ይችላሉ - ቴራባይት ሳይገለብጡ። ለዳታ ሐይቅዎ የ Git-አይነት ሴማንቲክስ ነው።

በሌላ አነጋገር፡ DVC የውሂብ አስተዳደርን በገንቢ የስራ ፍሰት ላይ ይጨምራል፤ lakeFS የስራ ፍሰት ሴማንቲክስን በውሂብ ንብርብር ውስጥ ያስቀምጣል።

ዋናው ልዩነት (እና ለምን አስፈላጊ ነው)

DVC ትልቅ ውሂብን እንደ የኮድ ቤዝዎ ቅጥያ አድርጎ ይቆጥረዋል። ሁሉም ነገር የሚጀምረው በ Git repo ነው፡ *.dvc ፋይሎችን ኮሚት ያደርጋሉ፣ ጥገኞችን ይቆልፋሉ እና ቧንቧዎችን ያስተባብራሉ። የትውልድ መረጃው የፈጠረውን ኮድ አጠገብ በሚኖርበት የ ML ሙከራዎች ውስጥ በጣም ጥሩ ነው።

lakeFS ይገለብጠዋል፡ የውሂብ ሐይቅ የእውነት ምንጭ ነው። ቅርንጫፎች ዘይቤዎች አይደሉም - በተመሳሳይ መሠረታዊ ነገሮች ላይ የስም ቦታዎች ናቸው። ይህ ማለት የሚከተሉትን ማድረግ ይችላሉ ማለት ነው፡

በሰከንዶች ውስጥ የ 200 ቴባ የውሂብ ስብስብ feature/try-new-schema ቅርንጫፍ ይፍጠሩ።

ልክ እንደ እውነት ስለሆነ በዚያ ቅርንጫፍ ላይ Spark/Presto/Trino ያሂዱ።

ሐይቁን በሙሉ ሳያንቀሳቅሱ ያዋህዱ (ወይም ይሰርዙ)።

ይህን በብልህ Git መንጠቆዎች መኮረጅ አይችሉም።

lakeFS ከ DVC ጋር ሲነጻጸር፡ የግብይት ሽፋን የሌላቸው የአጠቃቀም ጉዳዮች

DVC የሚያሸንፈው መቼ ነው

ሞዴል-ተኮር ቡድኖች: እንደገና ሊፈጠር የሚችል እና ሊጋራ የሚገባው ኮድ፣ የውሂብ ቅጽበታዊ እይታዎች እና ሙከራዎች አሉዎት። የ DVC የሙከራ ክትትል እና dvc repro ቧንቧዎች ያበራሉ።

ነጠላ-ሪፖ ዲሲፕሊን: ድርጅትዎ በ Git ውስጥ ይኖራል። የማከማቻ ማብራሪያን ሳይፈጥሩ “ውሂብ እንደ ኮድ” ይፈልጋሉ። DVC የታወቀ ነው፣ git add data.dvc፣ ተከናውኗል።

በጀት እና ቀላልነት: ለማሄድ ምንም የመሠረተ ልማት ሽፋን የለም። DVC ከቀላል S3 ባልዲ እና የፍቃድ ፖሊሲ ጋር መስራት ይችላል። CLI ቀጥተኛ ነው። አካባቢያዊ-መጀመሪያ ባህሪ ነው።

lakeFS የሚያሸንፈው መቼ ነው

በሚዛን ላይ የቡድን መነጠል: ብዙ ቡድኖች እርስ በእርሳቸው ሳይረጋገጡ በተመሳሳይ ሐይቅ ላይ ጽሑፎችን/ንባቦችን በደህና እንዲያካሂዱ ያስፈልጋል። በቅርንጫፍ ላይ የተመሰረተ መነጠል ነጥቡ ነው።

አስተዳደር እና ኦዲት: በኮሚት ታሪክ፣ እንደገና ሊፈጠሩ የሚችሉ ቅጽበታዊ እይታዎች እና በዋናው ላይ ያሉ የፖሊሲ መንጠቆዎች። ደንቦችን አስፈላጊ በሆነበት ቦታ ማስፈጸም ይችላሉ።

ትላልቅ ሞተሮች፣ ትላልቅ ሠንጠረዦች: Spark፣ Hive፣ Presto፣ Trino፣ Snowflake ውጫዊ ሠንጠረዦች - የነገር ማከማቻዎችን የሚናገሩ መሣሪያዎች። lakeFS በ URL ደረጃ ይዋሃዳል; የኮምፒዩተር ቁልልዎ አዲስ ዘዴዎችን መማር አያስፈልገውም።

ሁለቱንም ሲጠቀሙ (እና ብልህ እንደሆኑ ሲሰማዎት)

ለሪፖው ከ ሞዴል ቅርሶች እና ቧንቧዎች DVC; ለሐይቁ ውስጥ ያልተጣሩ እና የተሰሩ የውሂብ ስብስቦች lakeFS. በ DVC ውስጥ የውሂብ ስብስብ ቨርዥኖችን ይከታተሉ እና የ lakeFS ኮሚት hashን ይጠቅሱ። ኮድ በ Git ውስጥ ይኖራል; የውሂብ ሴማንቲክስ በሐይቁ ውስጥ ይኖራል። ሌላኛው ሽፋን ሁለቱንም ስራዎች በደንብ መስራት እንደሚችል ማንም ማስመሰል የለበትም።

lakeFS ከ DVC ጋር ሲነጻጸር፡ ተግባራዊ የንግድ ልውውጦች

ማዋቀር እና ክወናዎች

DVC: CLI ይጫኑ፣ የርቀት ቦታዎችን ያዋቅሩ። የመሸጎጫ መጠንን፣ የማከማቻ ወጪዎችን እና መዳረሻን ያስተዳድራሉ። Git የእርስዎ መነሻ ይሆናል። አነስተኛ ግጭት።

lakeFS: አገልግሎት እያሄዱ ነው። አገልጋይ፣ ሜታዳታ፣ GC፣ ቅርንጫፍ ፖሊሲዎች፣ ምስክርነቶች አሉ። አስቸጋሪ አይደለም, ነገር ግን መሠረተ ልማት ነው. ክፍያው በውሂብ ሐይቅ ላይ እውነተኛ መነጠል እና የአቶሚክ ኮሚቶች ነው።

አፈጻጸም እና ልኬት

DVC: ትላልቅ ቅርሶችን መግፋት/መሳብ በአካባቢያዊ መሸጎጫ እና በሃርድሊንኮች ፈጣን ሊሆን ይችላል, ነገር ግን ሞዴሉ በመሠረቱ በደንበኛ የሚመራ ነው. ፔታባይትን በሚሊሰከንዶች ውስጥ ቅርንጫፍ አያደርጉም; እንደ አስፈላጊነቱ ቁርጥራጮችን ይጠቅሳሉ እና ያንቀሳቅሳሉ።

lakeFS: ቅርንጫፍ ሜታዳታ-ርካሽ ነው (ኮፒ-ላይ-ጻፍ)። ንባቦች “ቤተኛ ፍጥነት” ናቸው ምክንያቱም እነሱ የነገር ማከማቻ ንባቦች ብቻ ናቸው። ጽሑፎች በተዘዋዋሪነት ይከሰታሉ ነገር ግን የ “ዓለምን መቅዳት” ቅጣት አይደለም። የማዋሃድ ግጭቶች አሉ, ነገር ግን በነገር/ቁልፍ ደረጃ ላይ ናቸው, የኮድ መስመሮች አይደሉም።

እንደገና መፈጠር

DVC: የእርስዎ dvc.lock ኮድ፣ መለኪያዎች እና የውሂብ ቅርሶች hashes አንድ ላይ ያገናኛል። ከባለፈው ወር አንድ ሙከራ እንደገና ማካሄድ ተመሳሳይ ቢትዎችን ማምረት አለበት። ይህ በኮድ ወሰን ላይ እንደገና መፈጠር ነው።

lakeFS: በውሂብ ወሰን ላይ እንደገና መፈጠር፡ “ሠንጠረዥ Xን እንደ ኮሚት Y ያንብቡ።” ለመተንተን ወይም ለመሙላት መላውን የግቤት ገጽታዎን በጊዜ መጓዝ ይችላሉ።

የመተባበር ሞዴል

DVC: ገንቢ-ተኮር ትብብር - PRs፣ ግምገማዎች እና ሙከራዎች። ለ ML loop በጣም ጥሩ፡ ውሂብ → ባቡር → ይገምግሙ → ይላኩ።

lakeFS: የውሂብ-ቡድን-ተኮር ትብብር - ለመግባት፣ ለመለወጥ እና ለማረጋገጥ ቅርንጫፎች። ለትንተና loop በጣም ጥሩ፡ ማስገባት → ሞዴል (በ dbt/ETL) → ማተም → ማገልገል

የውሂብ ኮንትራቶች በቀላል እንግሊዝኛ

ሰዎች “የውሂብ ኮንትራቶች” ይላሉ እና የስኬማ ሪጅስትሪ ቅጽበታዊ ገጽ እይታዎችን ማሳየት ይጀምራሉ። ቀላሉ ስሪት እዚህ አለ፡-

በ DVC፣ ውል በእርስዎ ቧንቧ ውስጥ ግልጽ ነው፡ እንደ ጥገኝነት የሚያውጇቸው ፋይሎች ውሉን ያካተቱ ናቸው። እነሱን ይቀይሩ, እና ቧንቧዎ ያውቃል.

በ lakeFS፣ ውሉ በማዋሃድ ጊዜ ሊተገበር ይችላል፡ ቅድመ-ማዋሃድ መንጠቆዎች ማረጋገጫዎችን (የስኬማ ቼኮች፣ የረድፍ ቆጠራዎች፣ ባዶ ገደቦች) ማሄድ እና መጥፎ ውሂብ ዋናውን ቅርንጫፍ እንዳይደርስ መከልከል ይችላሉ። በአካባቢው ያለው አዋቂ ነው።

የገንቢ ልምድ (DX)፡ ጎማው ከመንገድ ጋር የሚገናኝበት

CLI ergonomics: የ DVC CLI አስተያየት ያለው ግን ሊተነበይ የሚችል ነው፡ dvc add፣ dvc push፣ dvc exp run። የ lakeFS CLI (እና UI) በውሂብ ስብስብ ደረጃ ቅርንጫፎችን/ኮሚቶችን ያስባል፡ lakefs branch create፣ commit፣ merge።

የአእምሮ ሞዴል: DVC ገንቢዎች ውሂብን እንደ ሶስተኛ ወገን ሁለትዮሽ ከ hashes ጋር እንዲይዙ ይጠይቃል። lakeFS የውሂብ መሐንዲሶች ሐይቁን እንደ ማግለያ ንብርብሮች ካለው ሪፖ አድርገው እንዲይዙት ይጠይቃል።

የአእምሮ ጭነት: DVC በሪፖ ሥርዓቶች ላይ ይጨምራል; lakeFS የመሠረተ ልማት እና ፖሊሲዎችን ይጨምራል። ቡድንዎ አስቀድሞ በሚኖርበት ቦታ ላይ በመመስረት መርዝዎን ይምረጡ - IDEs ወይም የውሂብ መድረኮች።

ዋጋ፡ ጊዜ፣ ገንዘብ እና የደመና መውጫ ራስ ምታት

ማከማቻ: ሁለቱም የነገር ማከማቻዎችን በብቃት ይጠቀማሉ። ከመሸጎጫ ጋር ጥንቃቄ ካላደረጉ DVC ቅርሶችን ማባዛት ይችላል; lakeFS በተደጋጋሚ እስከሚቀይሩ ድረስ ርካሽ በሆነ በኮፒ-ላይ-ጻፍ ሜታዳታ ላይ ይመሰረታል።

መውጫ እና እንቅስቃሴ: የ DVC push/pull ተጨማሪ የነገር ለውጥ ሊፈጥር ይችላል። የ lakeFS ንባቦች በአብዛኛው ማለፊያ ናቸው። የመውጫ ወጪዎች በሌሊት ካልተኙዎት፣ የ lakeFS “ያለ ቅጂ ቅርንጫፍ” ሞዴል ተግባቢ ነው።

የክወናዎች ትርፍ: የ DVC ዋጋ በአብዛኛው የገንቢ ጊዜ ነው። የ lakeFS ዋጋ የአገልግሎት ጥገና ነው - ምትኬዎች፣ ማሻሻያዎች፣ ፖሊሲዎች።

ሹል ጠርዞች (ማንም ስለእነዚህ ማውራት አይወድም)

DVC የማዋሃድ ግጭቶች አስማት አይደሉም: የ CSV ረድፎችን እያዋሃዱ አይደለም። የትኞቹ blobs እንደሚያሸንፉ እያስታረቁ ነው። ጥሩ ማዋሃድ ለማድረግ አሁንም ትክክለኛ የውሂብ ሂደት ያስፈልግዎታል።

የ lakeFS የማዋሃድ ሴማንቲክስ SQL አይደሉም: የ S3 መንገዶችን ቅርንጫፍ ማድረግ እና ማዋሃድ ይችላሉ, ነገር ግን የትርጉም ሰንጠረዥ ለውጦችን (የክፍልፋይ ማደባለቅ, ማሻሻያዎች) ማስታረቅ የእርስዎ ስራ ነው, የ lakeFS አይደለም. እንደ ፋይል ሲስተም አስቡ እንጂ እንደ ዳታቤዝ አይደለም።

የመዳረሻ መቆጣጠሪያ የተለየ ነው: DVC የ Git ማህበራዊ ሞዴልን ይወርሳል (PRs፣ ግምገማዎች)። lakeFS ከ IAM እና የፖሊሲ መንጠቆዎች ጋር ይዋሃዳል። ድርጅትዎ አስቀድሞ ውሂብን ለማግኘት IAMን ካማከለ፣ lakeFS ተፈጥሯዊ ስሜት ይፈጥራል; በ GitHub ውስጥ የሚኖሩ ከሆነ, DVC ትክክል እንደሆነ ይሰማዎታል.

ውህደቶች፡ ሞተሮች፣ አስተባባሪዎች እና እውነተኛው ዓለም

DVC: ከ GitHub/GitLab CI፣ Makefiles፣ Airflow እና local dev ጋር በጥሩ ሁኔታ ይሰራል። ለ ML ሙከራዎች፣ የ DVC የሙከራ ክትትል እና ቅርሶች አስተዳደር መስህብ ናቸው።

lakeFS: ከ Spark፣ Hive፣ Trino፣ Presto፣ dbt (በውጫዊ ሠንጠረዦች በኩል)፣ Airflow እና s3a://repo/branch/path ን ከሚያነብ ከማንኛውም ሞተር ጋር በጥሩ ሁኔታ ይሰራል። ብልሃቱ የእርስዎ ኮምፒዩተር ተመሳሳይ የማከማቻ ቋንቋ መናገሩ ነው።

ደህንነት እና ተገዢነት ያለ buzzwords

DVC: ደህንነት በደመና ማከማቻዎ እና በ Git ፍቃዶችዎ ላይ የተመሰረተ ነው። ኦዲት ማድረግ የሚቻለው በቧንቧ ደረጃ ነው - ምን ምን አወጣ, እና መቼ.

lakeFS: እያንዳንዱ ኮሚት የኦዲት ቼክፖይንት ነው። መንጠቆዎች ውሂብን ከመዋሃዳቸው በፊት መቃኘት ይችላሉ። ስለ GDPR-አይነት “ምን መቼ ተቀየረ” የሚያሳስብዎት ከሆነ፣ lakeFS የተሻለ ተስማሚ ነው።

ቀላል-እንግሊዝኛ ራስ ለአራስ

ዋና ቁልፍ ቃል—“lakeFS ከ DVC ጋር ሲነጻጸር” ንጽጽር ብቻ አይደለም; በፍልስፍና ውስጥ ያለ ልዩነት ነው። DVC ለትላልቅ ፋይሎች እና ሙከራዎች Git-ከጥቅማጥቅሞች ጋር ነው። lakeFS የውሂብዎ በትክክል በሚኖርበት ቦታ የ Git መሰል ሴማንቲክስ ነው።

ቀንዎ በአብዛኛው ውሂብ የሚነካ ኮድ ከሆነ፣ በ DVC ደስተኛ ይሆናሉ።

ቀንዎ በአብዛኛው አንዳንድ ጊዜ ኮድን የሚያገኝ ውሂብ ከሆነ፣ lakeFS ን የመምረጥ ዕድሉ ከፍተኛ ነው።

ቀንዎ ሁለቱም ከሆነ, እንኳን ደስ አለዎት: እርስዎ መደበኛ ነዎት. ለኮድ ፊት ለፊት loop DVC እና ለሐይቁ ፊት ለፊት loop lakeFS ይጠቀሙ። “ሁለቱም” አመላካችነት የለውም - ትክክል ነው።

በመሳሪያዎች ማስታወቂያ ላይ ማስታወሻ (እና Sider.AI የሚስማማበት ቦታ)

መሳሪያዎች ጊዜን ሲቆጥቡ ወይም ውዥንብርን ሲከላከሉ ብቻ ትኩረት የሚስቡ ናቸው። የተቀረው ነገር ሁሉ ማሳያ ነው። Sider.AI እዚህ በትክክል ይረዳል - ሐይቅዎ ነኝ ብሎ በማስመሰል ሳይሆን, ያልተደሰተውን ስራ በመስራት: ስለ ቧንቧዎችዎ ምክንያታዊነት እንዲኖራችሁ በመርዳት, የጥበቃ ሀዲድ ቼኮችን በማመንጨት እና ሰነዶችዎን እና ልዩነቶችዎን ታማኝ ያደርጋሉ. DVC እና lakeFS ን አንድ ላይ ለማገናኘት ከፈለጉ Sider.AI “መግቻዎችዎን ይሰይሙ” የሚል እና ከዚያ መለያዎቹን የሚያትም አስተዋይ ጓደኛ ነው።

ተግባራዊ ሁኔታዎች፡ lakeFS ከ DVC ጋር በዱር ውስጥ

ሁኔታ 1፡ ለ ETL የባህሪ ማግለል

የነሐስ/የብር/የወርቅ ሐይቅን ይጠብቃሉ። የታችኛውን ዳሽቦርዶች ሳይሰበሩ ለአዲስ የክሊክ ዥረት ማስገባት አዲስ ስኬማ መሞከር ይፈልጋሉ። በ lakeFS፣ etl/schema-v2 ከ ብር ቅርንጫፍ ያድርጉ፣ ስራዎችዎን ያሂዱ፣ በተነጠለ ያረጋግጡ እና ቼኮች ካለፉ በኋላ ያዋህዱ። ምንም የጥላ ባልዲዎች፣ ምንም የሌሊት ቅጂዎች የሉም።

ሁኔታ 2፡ እንደገና ሊፈጠሩ የሚችሉ የስልጠና ሩጫዎች

በየሳምንቱ ሞዴሎችን ያሠለጥናሉ። DVC ትክክለኛውን የውሂብ ስብስብ ቅጽበታዊ እይታን ይሰካል (data.dvc ወደ lakeFS ኮሚት ወይም S3 ስሪት ይጠቁማል)፣ መለኪያዎች እና ኮድ። dvc repro ሩጫውን ያሽከረክራል። ሞዴሉ፣ መለኪያዎች እና ሴራዎች ሊገፉ እና ሊጋሩ የሚችሉ ቅርሶች ናቸው። ኦዲተሮች ይህንን ይወዳሉ። ወደፊት እርስዎም እንዲሁ።

ሁኔታ 3፡ መጥፎ ህትመትን ማስተካከል

አንድ ሰው ወደ ዋና የተሳሳተ የፓርኬት ስብስብ ያትማል። በ lakeFS፣ ወደ መጨረሻው ጥሩ ኮሚት ወይም ቅርንጫፍ ይመለሳሉ፣ ይጠግኑ እና ያዋህዳሉ። በ DVC፣ በቧንቧው ውስጥ እያስተካከሉ እና ቅርሶችን እንደገና እየገፉ ነው። ሁለቱም ይሰራሉ; “ማተም” ማለት “ሁሉም ሰው የሚያነበው ሐይቅ” ማለት ሲሆን lakeFS የተሻለ ነው።

ፍልሰት እና አብሮ መኖር ያለ እንባ

እውነቶችዎን በመሰየም ይጀምሩ፡ የትኞቹ የውሂብ ስብስቦች የስርዓት-መዝገብ ናቸው? የትኞቹ ጊዜያዊ ናቸው? የስርዓት-መዝገብን በ lakeFS ውስጥ ያስቀምጡ። የሙከራ ቅርሶችን በ DVC ውስጥ ያስቀምጡ።

ቀጭን ውህደት: የ lakeFS ኮሚት መታወቂያዎችን በ DVC መለኪያዎች ወይም ሜታዳታ ውስጥ ያከማቹ። ልክ እንደማይለወጡ የውሂብ ስብስብ ቨርዥኖች አድርገው ይያዙዋቸው።

ሐይቁን አታፍሉ: መነጠል እውነተኛ ገንዘብ ወይም ቅዳሜና እሁድን በሚያድንዎት ቦታ lakeFS ይቀበሉ። እንደገና መፈጠር እንደገና መሮጥ በሚያስቀርዎት ቦታ DVC ይቀበሉ።

ውይይቱ፡ ወይ/ወይ አይደለም፣ እውነቱ የሚኖርበት ነው።

የሶፍትዌር ቡድኖች ሁሉንም ለመግዛት አንድ መሳሪያ ይፈልጋሉ። ያ የተሳሳተ ጥያቄ ነው። ትክክለኛው፡ እውነት የት ነው የሚኖረው?

እውነት በሪፖ ውስጥ ከሆነ - ኮድ፣ ውቅሮች እና የሰለጠኑባቸው ልዩ ፋይሎች - DVC የ Git ተፈጥሯዊ ቅጥያ ነው።

እውነት በሐይቁ ውስጥ ከሆነ - የእርስዎን ኩባንያ የሚያንቀሳቅሱት ሠንጠረዦች፣ ክፍሎች እና የነገር ቁልፎች - lakeFS የኮሚት-ጊዜ ጤናን ይሰጥዎታል።

ሁለቱም የ version control ዓይነቶች ናቸው። የትኛው ውሂብ በሚኖርበት ቦታ በትክክል ይኖራል።

lakeFS ከ DVC ጋር ሲነጻጸር፡ ሰዎች በትክክል ለሚጠይቋቸው ጥያቄዎች ፈጣን መልሶች

“DVC የእኔን የውሂብ ሐይቅ ሊተካ ይችላል?” አይ. ቅርሶችንዎን ማደራጀት እና ሙከራዎችን ምክንያታዊ ማድረግ ይችላል። S3 እንደ የግብይት መደብር እንዲሠራ አያደርገውም።

“lakeFS የእኔን ML የሙከራ መከታተያ ሊተካ ይችላል?” እንዲሁም አይ. የሙከራዎችን ግብዓት/ውጤት ቨርዥን ማድረግ ይችላል፣ ነገር ግን ስለ ROC ኩርባዎችዎ ግድ የለውም።

“ይህ ልክ እንደ Git LFS አይደለም?” ብስክሌት ማለት ትንሽ ብረት ያለው መኪና ማለት ነው። DVC ከ Git-አጠገብ ነው ነገር ግን የውሂብ ቧንቧዎችን ይረዳል። lakeFS Git ን ወደ ፔታባይት ሳይጎትቱ የ Git-አይነት ሴማንቲክስ ይሰጥዎታል።

በአስቸጋሪነት ላይ አጭር ቃል (አንድ ቦታ ይከፍላሉ)

እያንዳንዱ ረቂቅ በኋላ የሚከፈልበት ሂሳብ ነው። የ DVC ሂሳብ ገንቢ ስርዓት እና አልፎ አልፎ ቅርሶችን መታገል ነው። የ lakeFS ሂሳብ አገልግሎት ማስኬድ እና ለአከባቢ ማከማቻዎች አዲስ የማዋሃድ ሴማንቲክስ መማር ነው። አንድ መሣሪያ ነፃ የሚመስል ከሆነ ትኩረትዎን እየሞላ ነው።

የመለያየት ምት

“lakeFS ከ DVC ጋር ሲነጻጸር” እንደ ፍጥጫ ተነቧል። ተመሳሳይ መሣሪያ የማይጫወቱ ሁለት ሙዚቀኞች ይመስላል። ከበሮ መቺውን ዜማውን እንዲሸከም አይጠይቁም ፣ እና ቫዮሊን ለመዘዋወር ባንድ ጊዜ እንዲቆይ አይጠይቁም። ኮድ loop ን በሚቆጣጠርበት ቦታ DVC ይጠቀሙ። ውሂብ ክፍሉን በሚቆጣጠርበት ቦታ lakeFS ይጠቀሙ። እና በሁለቱም ዓለማት ውስጥ የሚኖሩ ከሆነ ፣ ጥሩ ነው- ያ ማለት ትኩረት እየሰጡ ነው ማለት ነው።

ምክንያቱም የ version control እውነተኛው ነጥብ - Git ን የሚጠቀልል ወይም S3 ን የሚጠቀልል - የኮሚት hash አይደለም። ዓለምን ሳያበላሹ ነገሮችን ለመለወጥ ፈቃድ ነው። ሌላው ነገር ሁሉ ትር ብቻ ነው።

ቁልፍ ቃል-ተስማሚ፣ ቀላል የንግግር ርዕሶች (ስለጠየቁ)

lakeFS ከ DVC ጋር ለ ML ቧንቧዎች

የእርስዎ ML ቧንቧዎች በብልሃት የውሂብ ስብስቦች እና የሞዴል ቅርሶች ያሉት ኮድ-ከባድ ከሆኑ፣ DVC በተሻለ ሁኔታ ይዋሃዳል፡ በ Git ውስጥ ጠቋሚ ፋይሎች፣ hashes፣ ክትትል የሚደረግባቸው ሙከራዎች። ብዙ ቡድኖችን በሚመገቡ የውሂብ-ከባድ ቧንቧዎች፣ lakeFS በጠቅላላው ሐይቅ ላይ በቅርንጫፍ ላይ የተመሰረተ መነጠል ያሸንፋል።

lakeFS ከ DVC ጋር ለውሂብ አስተዳደር

lakeFS በዋናው ላይ ኦዲት የሚደረግባቸው ኮሚቶች እና የማዋሃድ መንጠቆዎችን ይሰጥዎታል። DVC በቧንቧው ላይ የትውልድ መረጃን ይሰጥዎታል። ህጋዊ የማይለወጡ የፍተሻ ነጥቦችን የሚፈልግ ከሆነ፣ ያ lakeFS ነው; ምህንድስና እንደገና ሊባዙ የሚችሉ ሩጫዎችን የሚፈልግ ከሆነ, ያ DVC ነው.

ለነገር ማከማቻ በ DVC እና lakeFS መካከል መምረጥ

የነገር ማከማቻ ግብይቶችን አያደርግም። DVC በነገር ደረጃ hashes እና push/pull ጋር ያንን ይሰራል። lakeFS በ copy-on-write metadata እና ቅርንጫፍ ሴማንቲክስ ውስጥ ይደገፋል። ህመምዎ በሪፖ ወይም ባልዲ ውስጥ እንደሆነ በመመስረት ይምረጡ።

lakeFS እና DVC ያለ ራስ ምታት ያጣምሩ

ሐይቁን ቨርዥን ለማድረግ lakeFS ይጠቀሙ; ስለዚህ ሙከራዎች ትክክለኛ ግብዓቶችን እንዲያገናኙ የኮሚት መታወቂያዎችን ወደ DVC ያቅርቡ። የሞዴል ቅርሶችን በ DVC የርቀት ቦታዎች ውስጥ ያስቀምጡ; ያልተጣሩ እና የተሰሩ የውሂብ ስብስቦችን በ lakeFS ቅርንጫፎች ውስጥ ያስቀምጡ። ምንም ያልተፈቀዱ ጠለፋዎች አያስፈልጉም።

FAQ

Q1፡ለ ML ሙከራዎች የትኛው የተሻለ ነው፡ lakeFS ወይስ DVC? ለ ML ሙከራዎች፣ DVC በተለምዶ ያሸንፋል። ኮድን፣ መለኪያዎችን፣ የውሂብ ስብስቦችን እና ሞዴሎችን አንድ ላይ ያገናኛል፣ lakeFS ግን የውሂብ ስብስብ መነጠልን እና በሐይቁ ደረጃ የጊዜ ጉዞን ያስተናግዳል።

Q2፡ lakeFS እና DVC ን ያለ ውዥንብር አንድ ላይ መጠቀም እችላለሁ? አዎ። የእርስዎን ሐይቅ የውሂብ ስብስቦች ቨርዥን ለማድረግ lakeFS ኮሚቶችን ይጠቀሙ እና እነዚያን የኮሚት መታወቂያዎች በ DVC ውስጥ ይጠቅሱ። DVC ቅርሶችን እና ቧንቧዎችን እንዲያስተናግድ ይፍቀዱ; lakeFS በነገር ማከማቻ ላይ ቅርንጫፎችን እና ውህደቶችን እንዲያስተናግድ ይፍቀዱ።

Q3: DVC የውሂብ ሐይቅን ወይም lakeFS ን ይተካዋል? አይ. DVC ትላልቅ ፋይሎችን እና ሙከራዎችን በ Git ዙሪያ ያደራጃል; S3 ን ወደ የግብይት መደብር አይለውጠውም። lakeFS ከሐይቅዎ ፊት ለፊት ተቀምጦ ቅርንጫፍ፣ ኮሚቶችን እና መነጠልን ይጨምራል።

Q4፡ lakeFS ለአነስተኛ ቡድኖች ከመጠን በላይ ነው? ብዙውን ጊዜ, አዎ. ባለብዙ ቡድን መነጠልን ወይም አስተዳደርን የማትሰሩ ከሆነ፣ የ DVC ቀላልነት ይማርካል። ቅርንጫፍ ላይ የተመሰረተ መነጠል እና የኦዲት ዱካዎች እውነተኛ ገንዘብን ወይም መቆራረጥን በሚያድኑበት ጊዜ lakeFS ትርጉም ይሰጣል።

ጥያቄ 5፡ የlakeFS እና DVC ወጪዎች እንዴት ይነጻጸራሉ? DVC የሚያወጣው ወጪ ወደ ገንቢዎች ጊዜ እና በሚገፋፉበት/በሚጎትቱበት ጊዜ የሚፈጠር የማከማቻ ለውጥ ያጋድላል። የlakeFS ወጪዎች አገልግሎቱን ማስኬድ እና ፖሊሲዎችን ማስተዳደር ላይ ያተኩራሉ፣ ነገር ግን ማBranch ማድረግ ርካሽ እና ከአገልግሎት መውጣት (egress) ጋር ተስማሚ ነው።

lakeFS ከ DVC ጋር፡ የፋይል ሲስተም የቨርዥን ቁጥጥርን ይፈልጋል