Which is better for ML experiments: lakeFS or DVC?

For ML experiments, DVC usually wins. It ties code, parameters, datasets, and models together, while lakeFS handles dataset isolation and time travel at the lake level.

Can I use lakeFS and DVC together without a mess?

Yes. Use lakeFS commits to version your lake datasets and reference those commit IDs in DVC. Let DVC handle artifacts and pipelines; let lakeFS handle branches and merges on object storage.

Does DVC replace a data lake or lakeFS?

No. DVC organizes large files and experiments around Git; it doesn’t turn S3 into a transactional store. lakeFS sits in front of your lake and adds branching, commits, and isolation.

Is lakeFS overkill for small teams?

Often, yes. If you’re not juggling multi-team isolation or governance, DVC’s simplicity is appealing. lakeFS makes sense when branch-based isolation and audit trails save real money or outages.

How do costs compare for lakeFS vs DVC?

DVC’s costs skew toward developer time and storage churn during push/pull. lakeFS’s costs skew toward running the service and managing policies, but branching is cheap and egress-friendly.

lakeFS ಮತ್ತು DVC: ಆವೃತ್ತಿ ನಿಯಂತ್ರಣವು ಫೈಲ್ ಸಿಸ್ಟಮ್ ಆಗಬೇಕೆಂದು ಬಯಸುತ್ತದೆ

ಡೇಟಾ ಆವೃತ್ತಿ ನಿಯಂತ್ರಣದ ಕುರಿತು ಎಲ್ಲರೂ Git ಎಲ್ಲಾ ರಚನೆಗಳಿಗಾಗಿ ಎಂದು ಒಪ್ಪಿಕೊಳ್ಳುತ್ತಾರೆ — ಆದರೆ ನೀವು ತಂಡದೊಂದಿಗೆ ಪೆಟಾಬೈಟ್‌ಗಳ ಸಲುವಾಗಿ ನೈಜವಾಗಿ ಉಪಯೋಗಿಸಲು ಪ್ರಯತ್ನಿಸಿದಾಗ Git ನಿಜವಾಗಿಯೂ ಕೋಡ್‌ನಿಗಾಗಿ Git ಆಗಿದ್ದು ತಿಳಿದುಬರುತ್ತದೆ. “ನಿಮ್ಮ S3 ಬಕೇಟ್ ಅನ್ನು ರೆಪೊ ತೋರಿಕೊಳ್ಳಿ” ಅಂತಾರೆ, ಇದು ರೈತರಿಗೆ ಪವನ ವಾದ್ಯವಾದ ಸಾಹಿತಿ ಅದನ್ನು ಉಪಯೋಗಿಸುವಂತೆ ಹೇಳುವುದಕ್ಕೂ ಸಮಾನವಾಗಿದೆ.

ಇದು ಎರಡು ವೈಶಿಷ್ಟ್ಯಮಯ ದೃಷ್ಟಿಕೋನಗಳ ಕಥೆ: lakeFS ಮತ್ತು DVC. ಎರಡೂ ಡೇಟಾ, ಮಾದರಿಗಳು ಮತ್ತು ಪ್ರಯೋಗಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಕಳೆದು ಹೋಗುವ ಸ್ಥಿತಿಗೆ ಮಾನಸಿಕ ಶಾಂತಿ ವಾಗಿಸುವುದಾಗಿ ವಾಗ್ದಾನ ಮಾಡುತ್ತವೆ. ಆದರೆ ಅವು ಸಮಸ್ಯೆಯನ್ನು ವಿರುದ್ದ ದಿಕ್ಕಿನಲ್ಲಿ ಎದುರಿಸುತ್ತವೆ. DVC ಡೆವೆಲಪರ್-ಪ್ರಥಮ, Git-ಸಂಬಂಧಿತ ಉಪಕರಣ; lakeFS ಸ್ಥಿತಿಗತಿಯಲ್ಲಿ ನಿಮ್ಮ ಒಬ್ಜೆಕ್ಟ್ ಸ್ಟೋರ್ ಅನ್ನು ಆವೃತ್ತಿ ಹೊಂದಿದ ಫೈಲ್ ಸಿಸ್ಟಮ್ ಆಗಿ ಪರಿವರ್ತಿಸುತ್ತದೆ.

ನಿರ್ಣಯಕ್ಕಾಗಿ ಬಂದಿದ್ದರೆ: ನೀವು ಈಗಾಗಲೇ ಯಾವ ಶಿಬಿರದಲ್ಲಿದ್ದೀರೋ ಅಂದುಕೊಂಡಿದ್ದೀರಿ. ನಿಮ್ಮ ದಿನನಿತ್ಯ ತೊಂದರೆ ಯೂ ಯಥಾರ್ಥತೆಗಾಗಿ ದೊಡ್ಡ ಕಡತಗಳು ಮತ್ತು ಮಾದರಿ ಸ್ಥಗಿತ ಸಂರಕ್ಷಣೆಯಿಟ್ಟರಿಸುವುದು ಆಗಿದ್ದರೆ, DVC ಮುಂಚೂಣಿ ಜೋತೆಗೆ ಇರುವ ಸ್ಮಾರ್ಟ್ ವಿಸ್ತರಣೆ ಎಂದು ಕಾಣುತ್ತದೆ. ನಿಮ್ಮ ತೊಂದರೆ ಹಲವು ತಂಡಗಳ ಡೇಟಾ ಆಡಳಿತ, पृथ್ಕರಿಕೆ ಮತ್ತು ಪಠನ ಶಾಶ್ವತತೆಗೆಂದು ಇದ್ದರೆ, lakeFS ಸುರಕ್ಷಿತ ವಿದ್ಯುತ್ ವಿಭಾಗಗಳನ್ನುಿರಿಸಿದ್ದ ಮನೆಗೆ ಎತ್ತುವಂತೆ ಇದೆ.

ಮತ್ತು ಹೌದು, ನೀವು ಎರಡನ್ನೂ ಬಳಕೆ ಮಾಡಬಹುದು. ಅದು ತಪ್ಪುವಾಗಿರುವುದಲ್ಲ; ಇದು ಡೇಟಾ ಕೆಲಸವು ಒಂದೇ ಟೀ-ಶರ್ಟ್ ಧರಿಸಿರುವ ಹಲವಾರು ಕೆಲಸಗಳಾಗಿರುವುದ್ಉ.

ಸ್ಥಳದ ಸುತ್ತ: DVC ಮತ್ತು lakeFS ನಿಜವಾಗೇ ಏನು ಮಾಡುತ್ತವೆ

DVC (ಡೇಟಾ ಆವೃತ್ತಿ ನಿಯಂತ್ರಣ): Git ಜೊತೆಗೆ ಬಾಳುತ್ತದೆ, ಒಳಗೆ ಅಲ್ಲ. ನೀವು Git ನಲ್ಲಿ ನುಡಿಮುತ್ತು (ಪಾಯಿಂಟರ್ಸ್ - ಸೂಕ್ಷ್ಮ ಮೆಟಾಫೈಲ್ಸ್) ಆವೃತ್ತಿಮಾಡುತ್ತೀರಿ; ದೊಡ್ಡ ವಸ್ತುಗಳನ್ನು S3, GCS, Azure, SSH, ಅಥವಾ ಸ್ಥಳೀಯ ಕ್ಯಾಶ್‌ನಲ್ಲಿ ಸಂಗ್ರಹಿಸುತ್ತೀರಿ. CLI ಮೂಲಕ ಚಾಲಿತ ಪೈಪ್ಲೈನ್ಗಳು, dvc.lock ಮರುಒಂದನ್ನು ಸಾಧಿಸಲು, ಪ್ರಯೋಗಗಳ ಟ್ರ್ಯಾಕಿಂಗ್ ಮತ್ತು dvc push/pull ಸಿಂಕ್ರೊನೈಸ್ ಮಾಡುವ ವ್ಯವಸ್ಥೆ ಸಮಾವೇಶವಾಗಿದೆ.

lakeFS: ನಿಮ್ಮ ವಸ್ತು ಸಂಗ್ರಹದ ಮುಂದೆ ಕುಳಿತಿದ್ದು (S3, GCS, Azure Blob), ಶಾಖೆಗಳು ಮತ್ತು ಕಮಿಟ್‌ಗಳನ್ನು ಸಂಗ್ರಹ ನಾಮಸ್ಥಳದ ಪ್ರಮುಖ ತತ್ವವಾಗಿಟ್ಟುಕೊಳ್ಳುತ್ತದೆ. ಓದು ಮತ್ತು ಬರವಣಿಗೆಗಳು ನಿರ್ದಿಷ್ಟ ಶಾಖೆಗಳಲ್ಲಿರುತ್ತವೆ. ನೀವು “production” ನಿಂದ ಶಾಖೆಯನ್ನು ಸೃಷ್ಟಿಸಿ, ಪರಿಷ್ಕರಣೆಗಳನ್ನು ನಡೆಸಿ, ಪುನಃ ಮರ್ಜ್ ಮಾಡಬಹುದು — ಟೆರಾಬೈಟ್‌ಗಳನ್ನು ನಕಲು ಮಾಡದೆ. ಇದು ನಿಮ್ಮ ಡೇಟಾ ಏಕತ್ಯಕ್ಕಾಗಿ Git-ಹಾಗಿದ್ದ ತತ್ವ.

ಇನ್ನಷ್ಟು ಸ್ಪಷ್ಟವಾಗಿ: DVC ಡೆವಲಪರ್ ಕಾರ್ಯಪ್ರವಾಹದಲ್ಲಿ ಡೇಟಾ ನಿರ್ವಹಣೆಯನ್ನು ಸೇರಿಸುತ್ತದೆ; lakeFS ಕಾರ್ಯಪ್ರವಾಹ ತತ್ವಗಳನ್ನು ಡೇಟಾ ಪದರದಲ್ಲಿ ಅಳವಡಿಸುತ್ತದೆ.

ಮೂಲಕ ಕೊರತೆ (ಮತ್ತು ಅದು ಏಕೆ ಮುಖ್ಯ)

DVC ದೊಡ್ಡ ಡೇಟಾವನ್ನು ನಿಮ್ಮ ಕೋಡ್‌ಬೇಸ್‌ನ ವಿಸ್ತಾರವಾಗಿ ನೋಡುವುದು. ಎಲ್ಲವನ್ನೂ Git ರೆಪೊದಿಂದ ಪ್ರಾರಂಭಿಸುತ್ತದೆ: ನೀವು *.dvc ಕಡತಗಳನ್ನು ಕಮಿಟ್ ಮಾಡುತ್ತೀರಿ, ಅವಲಂಬನಗಳನ್ನು ಕಟ್ಟಿದಿರಿ ಮತ್ತು ಪೈಪ್ಲೈನ್‌ಗಳನ್ನು ಮದುವೆಯಾಗಿಸುತ್ತೀರಿ. ಇದು ಎಂಎಲ್ ಪ್ರಯೋಗಗಳಿಗಾಗಿ ಸೂಕ್ತವಾಗಿದ್ದು, ಮಾಹಿತಿ ಮೂಲ ಕೋಡ್ ಅಕ್ಕಳದಲ್ಲೇ ಇರುತ್ತದೆ.

lakeFS ಸ್ಟಾರ್ ಮಾಡುತ್ತದೆ: ಡೇಟಾ ಲೇಕ್ ಸತ್ಯ ಮೂಲ. ಶಾಖೆಗಳು ರೂಪಕಗಳಲ್ಲ; ಅವು ಒಂದೇ ಮೂಲ ವಸ್ತುಗಳ ಮೇಲಿನ ನಾಮಸ್ಥಳಗಳಾಗಿವೆ. ಅದರಿಂದ ನೀವು:

200 ಟಿಬಿ ಡೇಟಾಸೆಟ್‌ನ feature/try-new-schema ಶಾಖೆಯನ್ನು ಸೆಕೆಂಡುಗಳಲ್ಲಿ ಸೃಷ್ಟಿಸಬಹುದು.

ಆ ಶಾಖೆಯಲ್ಲಿ Spark/Presto/Trino ಚಾಲಿಸಲು ನೀವು ಯಶಸ್ವಿಯಾಗುತ್ತೀರಿ ಏಕೆಂದರೆ ಅದು ನಿಜಗೈದ.

ಮರ್ಜ್ ಅಥವಾ ರದ್ದುಮಾಡಿ – ಸಂಪೂರ್ಣ ಲೇಕ್ ನಕಲಿಸುವ ಅಗತ್ಯವಿಲ್ಲದೆ.

ಚತುರ Git_hooks ಗಳಿಂದ ನೀವು ಈ ಕಾರ್ಯವನ್ನು ಮಾಡಲಾರದೀತು.

lakeFS ಮತ್ತು DVC: ಮಾರುಕಟ್ಟೆ ಗೀಳುಗಳಿಲ್ಲದ ಉಪಯೋಗಗಳು

ಎಲ್ಲಿ DVC ಗೆ ಗೆಲುವು

ಮಾದರಿ-ಕೇಂದ್ರೀಯ ತಂಡಗಳು: ನಿಮ್ಮ ಬಳಿ ಕೋಡ್, ಡೇಟಾ ಸ্নಾಪ್‌ಶಾಟ್ಗಳು ಮತ್ತು ಪ್ರಯೋಗಗಳಿವೆ, ಅವು ಪುನರಾವರ್ತಿಸಬಹುದಾಗಿರಬೇಕಾಗಿದೆ ಮತ್ತು ಹಂಚಿಕೊಳ್ಳಬಹುದಾಗಿದೆ. DVCಯ ಪ್ರಯೋಗ ಟ್ರ್ಯಾಕಿಂಗ್ ಮತ್ತು dvc repro ಪೈಪ್ಲೈನ್ಗಳು ಅದ್ಬುತವಾಗಿವೆ.

ಒಂದು ರೆಪೊ ಆಳ್ವಿಕೆ: ನಿಮ್ಮ ಸಂಸ್ಥೆ Gitಯಲ್ಲೇ ಇದೆ. ನೀವು “data as code” ಬಯಸುತ್ತೀರಿ ಆದರೆ ಹೊಸ ಸಂಗ್ರಹ abstractions ಗಳನ್ನು ರಚಿಸಬೇಕಿಲ್ಲ. DVC ಪರಿಚಿತರಾಗಿದ್ದು, git add data.dvc, ಮುಗಿದಿದೆ.

ಬಜೆಟ್ ಮತ್ತು ಸರಳತೆ: ಯಾವುದೇ ಇನ್ಫ್ರಾಸ್ಟ್ರಕ್ಚರ್ ಪದರ ಚಾಲನೆ ಮಾಡಬೇಕಾಗಿಲ್ಲ. DVC ಸಾದಾ S3 ಬಕೇಟ್ ಮತ್ತು ಅನುಮತಿ ನೀತಿಗಳೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಬಹುದು. CLI ಸರಳವಾಗಿದೆ. ಸ್ಥಳೀಯ-ಮೊದಲನೆ ಒಂದು ವಿಶೇಷತೆ.

ಎಲ್ಲಿ lakeFS ಗೆ ಗೆಲುವು

ತಂಡ पृथ್ಕರಿಕೆ - ಮಾಪನದ ಮಟ್ಟದಲ್ಲಿ: ಹಲವಾರು ತಂಡಗಳು ಒಂದೇ ಲೇಕ್‌ನಲ್ಲಿ ಸುರಕ್ಷಿತವಾಗಿ ಬರವಣಿಗೆ/ಓದು ನಡೆಸಬೇಕಾದರೆ, ಶಾಖಾ ಆಧಾರಿತ पृथ್ಕರಿಕೆಯ ಅಗತ್ಯವಿದೆ.

ಆಡಳಿತ ಮತ್ತು ಪರಿಶೀಲನೆ: ಕಮಿಟ್ ಇತಿಹಾಸ, ಪುನರುತ್ಪಾದನೀಯ ಸ్న್ಯಾಪ್‌ಶಾಟ್‌ಗಳು, ಮತ್ತು ಸಂಗ್ರಹ ಮಿತಿಯಲ್ಲಿನ ನೀತಿ ಹೂಕ್‌ಗಳು. ನೀವು ಅಗತ್ಯವಿದ್ದಲ್ಲಿ ನಿಯಮಗಳನ್ನು ಜಾರಿಗೆ ತರುವುದು.

ದೊಡ್ಡ ಎಂಜಿನ್ಗಳು, ದೊಡ್ಡ ಟೇಬಲ್‌ಗಳು: Spark, Hive, Presto, Trino, Snowflakeಂತಹ ವಸ್ತು ಸಂಗ್ರಹಗಳನ್ನು ಉಪಯೋಗಿಸುವ ಸಾಧನಗಳು. lakeFS URL ಮಟ್ಟದಲ್ಲಿ ಒಳಗೆ ಬಂದು ನಿಮ್ಮ ಕಂಪ್ಯೂಟ್ ಸ್ಟ್ಯಾಕ್ ಹೊಸ ಕೌಶಲ್ಯ ಕಲಿಯಬೇಕಾಗುವುದಿಲ್ಲ.

ಎರಡನ್ನೂ ಬಳಸಿದರೆ (ಮತ್ತು ಬುದ್ಧಿವಂತನಾಗುತ್ತಿರುವಿರಿ)

DVC ಗಾಗಿ ಮಾದರಿ ವಸ್ತುಗಳು ಮತ್ತು ಪೈಪ್ಲೈನ್‌ಗಳು ಮತ್ತು lakeFS ಗಾಗಿ ಅಜಾತ ಮತ್ತು ಶುದ್ಧೀಕೃತ ಡೇಟಾಸೆಟ್‌ಗಳು. lakeFS ಕಮಿಟ್ ಹ್ಯಾಶ್ ಅನ್ನು ಸೂಚಿಸುವ ಡೇಟಾಸೆಟ್ ಆವೃತ್ತಿಗಳನ್ನು DVC ನಲ್ಲಿ ಟ್ರ್ಯಾಕ್ ಮತ್ತು ಪಿನ್ ಮಾಡಿ. ಕೋಡ್ Git ಯಲ್ಲಿ; ಡೇಟಾ ಅರ್ಥಗಳು ಲೇಕ್‌ನಲ್ಲಿ ಇರುತ್ತವೆ.

lakeFS ಮತ್ತು DVC: ಪ್ರಾಯೋಗಿಕ ವ್ಯಾಪಾರಗಳು

ಸಂಸ್ಥಾಪನೆ ಮತ್ತು ಕಾರ್ಯಾಚರಣೆಗಳು

DVC: CLI ಸ್ಥಾಪಿಸಿ, ರಿಮೋಟ್‌ಗಳನ್ನು ಸಂರಚಿಸಿ. ನೀವು ಕ್ಯಾಶೆ ಗಾತ್ರ, ಸಂಗ್ರಹ ವೆಚ್ಚ, ಪ್ರವೇಶವನ್ನು ನಿರ್ವಹಿಸುತ್ತೀರಿ. Git ಮುಖ್ಯ ಮನೆ ಇದ್ದಂತೆ. ಕನಿಷ್ಠ ಅಡಚಣೆ.

lakeFS: ನೀವು ಸೇವೆಯನ್ನು ನಡಿಸುತ್ತಿದ್ದೀರಿ. ಸರ್ವರ್, ಮೆಟಾಡೇಟಾ, GC, ಶಾಖಾ ನೀತಿಗಳು, ಪ್ರಮಾಣಪತ್ರಗಳು ಇವೆ. ದೊಡ್ಡ ಪ್ರಶ್ನೆಯಾಗಿಲ್ಲ, ಆದರೆ ಅದು ಮೂಲಸೌಕರ್ಯ. ಫಲಿತಾಂಶವೇ ಡೇಟಾ ಲೇಕ್‌ನಲ್ಲಿ ವಾಸ್ತವಿಕ पृथ್ಕರಿಕೆ ಮತ್ತು ಆಟಾಮಿಕ್ ಕಮಿಟ್‌ಗಳು.

ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ವ್ಯಾಪ್ತಿ

DVC: ದೊಡ್ಡ ವಸ್ತುಗಳನ್ನು ಪುಷ್ ಅಥವಾ ಪುಲ್ ಮಾಡುವುದು ಸ್ಥಳೀಯ ಕ್ಯಾಶೆಯೊಂದಿಗೆ ಮತ್ತು ಹಾರ್ಡ್‌ಲಿಂಕ್‌ಗಳೊಂದಿಗೆ ವೇಗವಾಗಿ ಆಗಬಹುದು, ಆದರೆ ಮಾದರಿಯು ಮೂಲತಃ ಕ್ಲಯಿಂಟ್ ಚಾಲಿತ. ನೀವು ಪೆಟಾಬೈಟ್ ಅನ್ನು ಕ್ಷಣದಲ್ಲಿ ಶಾಖೆ ಮಾಡಲು ಆಗುವುದಿಲ್ಲ; ಅದನ್ನು ಸೂಚಿಸಿ ಮತ್ತು ತುಂಡುಗಳನ್ನು ಅಗತ್ಯಕ್ಕನುಸಾರ ಚಲಾಯಿಸಲು ಸಾಧ್ಯ.

lakeFS: ಶಾಖೆ ಮಾಡುವುದು ಮೆಟಾಡೇಟಾ-ಕಡಿಮೆ ವೆಚ್ಚದ (ಕಾಪಿ-ಆನ್-ರೈಟ್). ಓದಿನ ಗತಿ 'ಸ್ವಾಭಾವಿಕ' ಎಂದು ಪರಿಗಣಿಸಿ. ಬರವಣಿಗೆಗಳಲ್ಲಿ ಮಧ್ಯಂತರವಿದೆ, ಆದರೆ 'ವಿಶ್ವ ನಕಲು' ದಂಡವಿಲ್ಲ. ಮರ್ಜ್ ಪ್ರತಿಭೇಧಗಳಿವೆಯಾದರೂ ಅವು ವಸ್ತು/ಕೀ ಮಟ್ಟದವು; ಕೋಡ್ ಸಾಲುಗಳಿಗೆ ಸಂಬಂಧಿಸಿಲ್ಲ.

ಪುನರುತ್ಪಾದನೆ

DVC: ನಿಮ್ಮ dvc.lock ಕೋಡ್, ಪ್ಯಾರಾಮ್ಸ್ ಮತ್ತು ಡೇಟಾ ವಸ್ತು ಹ್ಯಾಶ್‌ಗಳನ್ನು ಒಟ್ಟುಗೂಡಿಸುತ್ತದೆ. ಕಳೆದ ತಿಂಗಳ ಪ್ರಯೋಗವನ್ನು ಮರುನಡೆಸಿದಾಗ ಏನೂ ಬದಲಾವಣೆಯಾಗದೆ ಅದೇ ಫಲಿತಾಂಶ ಬರುವುದು. ಅದು ಕೋಡ್‌ ಗಡಿ ಮೀರಿದ ಪುನರುತ್ಪಾದನೆ.

lakeFS: ಡೇಟಾ ಗಡಿಯಲ್ಲಿ ಪುನರುತ್ಪಾದನೆ: “commit Y ಗೆ ಟೇಬಲ್ X ಓದಿ.” ನೀವು ಸಂಪೂರ್ಣ ಇನ್‌ಪುಟ್ ಸರ್ವಫೇಸ್ ಅನ್ನು ಸಮಯದಲ್ಲಿ ಸಂಚರಿಸಬಹುದು ವಿಶ್ಲೇಷಣೆ ಅಥವಾ ಬ್ಯಾಕ್ಫಿಲ್‌ಗಳಿಗೆ.

ಸಹಕಾರ ಮಾದರಿ

DVC: ಡೆವಲಪರ್-ಕೇಂದ್ರೀಯ ಸಹಕಾರ — PR, ವಿಮರ್ಶೆಗಳು ಮತ್ತು ಪ್ರಯೋಗಗಳು. ಎಂಎಲ್ ಲೂಪಿಗೆ ಉತ್ತಮ: ಡೇಟಾ → ತರಬೇತಿ → ಮೌಲ್ಯಮಾಪನ → ರವಾನೆ.

lakeFS: ಡೇಟಾ ತಂಡ-ಕೇಂದ್ರೀಯ ಸಹಕಾರ — ಶಾಖೆಗಳು ಇನ್‌ಗೆಸ್ಟನ್, ಪರಿವರ್ತನೆ ಮತ್ತು ಮಾನ್ಯತೆಗಾಗಿ. ವಿಶ್ಲೇಷಣೆ ಲೂಪಿಗೆ ಸೂಕ್ತ: ಇನ್‌ಗೆಸ್ಟ್ → ಮಾದರಿ (dbt/ETL ಪ್ರಕಾರ) → ಪ್ರಕಟನೆ → ಸೇವೆ.

ಸರಳ ಭಾಷೆಯಲ್ಲಿ ಡೇಟಾ ಒಪ್ಪಂದಗಳು

ಜನರು 'ಡೇಟಾ ಒಪ್ಪಂದ' ಎಂದು ಹೇಳಿ ಸ್ಕೀಮಾ ರೆಜಿಸ್ಟ್ರಿ ಸ್ಕ್ರೀನ್‌ಶಾಟ್‌ಗಳನ್ನು ತೋರಿಸುತ್ತಾರೆ. ಇಲ್ಲಿದೆ ಸರಳ ವ್ಯಾಖ್ಯಾನ:

DVC ನಲ್ಲಿ, ಒಪ್ಪಂದವು ನಿಮ್ಮ ಪೈಪ್ಲೈನ್ ನಲ್ಲಿ ಅಂತರಂಗಿಕ: ನೀವು ಅವಲಂಬನೆಗಳಾಗಿ ಘೋಷಿಸಿದ ಕಡತಗಳು ಒಪ್ಪಂದವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ. ಅವು ಬದಲಾಗಿದ್ರೆ, ನಿಮ್ಮ ಪೈಪ್ಲೈನ್ ತಿಳಿಯೋದು.

lakeFS ನಲ್ಲಿ, ಒಪ್ಪಂದ ಮರ್ಜ್ ವೇಳೆ ಜಾರಿಗೆ ತರುತ್ತದೆ: ಮರ್ಜ್ ಮೊದಲು ಹೂಕ್‌ಗಳು ಮಾನ್ಯತೆಗಳನ್ನು (ಸ್ಕೀಮಾ ಪರಿಶೀಲನೆ, ಸಾಲು ಎಣಿಕೆ, ಶೂನ್ಯ ಮಿತಿ) ನಡೆಸಬಹುದು ಮತ್ತು ತಿರುಳು ಡೇಟಾವನ್ನು main ಶಾಖೆಗೆ ಬರುವುದನ್ನು ತಡೆಯಬಹುದು. ಇದು ಜೀರ್ಣಾಂಶದಲ್ಲಿ ಬುದ್ಧಿವಂತ ಪಾತ್ರಧಾರಿ.

ಡೆವಲಪರ್ ಅನುಭವ (DX): ಜಾರಿ ಬೂದಕ್ಕೆ ತಲುಪಿದಂತೆ

CLI ಆರಾಮದಾಯಕತೆ: DVC CLI ಅಭಿಪ್ರಾಯಕ್ಕೆ ಒಳಪಟ್ಟಿದ್ದು ಆದರೆ ನಿರೀಕ್ಷಿತ: dvc add, dvc push, dvc exp run. lakeFS CLI (ಮತ್ತು UI) ಶಾಖೆ/ಕಮಿಟ್ ಪರಿಗಣಿಸಿ: lakefs branch create, commit, merge.

ಮಾನಸಿಕ ಮಾದರಿ: DVC ಡೆವ್‌ಗಳನ್ನ ಡೇಟಾವನ್ನು ಹ್ಯಾಶ್‌ಗಿಂತಲೂ ಮೂರನೇ ಪಕ್ಷದ ಬೈನರಿಗಳಂತೆ ನೋಡಲು ಕೇಳುತ್ತದೆ. lakeFS ಡೇಟಾ ಇಂಜಿನಿಯರ್‌ಗಳಿಗೆ ಲೇಕ್ ಅನ್ನು ಶಾಖೆಗಳ ಜೊತೆಗೆ ರೆಪೋವಂತೆ ಕಾಣಿಸಲು ಹೇಳುತ್ತದೆ.

ಜುಡಿಮಟ್ಟಿ: DVC ಪ್ರತಿ ರೆಪೊ ಪೂಜೆ ಸೇರಿಸುತ್ತದೆ; lakeFS ಇನ್ಫ್ರಾ ಮತ್ತು ನೀತಿಗಳನ್ನು ಸೇರಿಸುತ್ತವೆ. ನಿಮ್ಮ ತಂಡ ಈಗಾಗಲೇ ಎಲ್ಲಿದ್ದಾನೆ (IDE ಅಥವಾ ಡೇಟಾ ವೇದಿಕೆ) ಆಧರಿಸಿ ಆಯ್ಕೆಮಾಡಿ.

ವೆಚ್ಚ: ಸಮಯ, ಹಣ, ಮತ್ತು ಕ್ಲೌಡ್-ನಿರ್ಗಮನ ತೊಂದರೆಗಳು

ಸಂಗ್ರಹ: ಎರಡೂ ವಸ್ತು ಸಂಗ್ರಹಗಳನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಉಪಯೋಗಿಸುತ್ತವೆ. DVC ಕ್ಯಾಶೆ ನಡವಳಿಕೆಯಲ್ಲಿ ದುರ್ಬಲವೇ ಇದ್ದರೆ ವಸ್ತುಗಳನ್ನು ನಕಲು ಮಾಡಬಹುದು; lakeFS ನಕಲು-ಮೇಲೆ-ಬರಹ ಮೆಟಾಡೇಟಾ ಅವಲಂಬನೆಯಲ್ಲಿ ಕಡಿಮೆ ವೆಚ್ಚದವಿದೆ ಆದರೆ ಪ್ರಚಲಿತವಿದ್ದರೂ.

ನಿರ್ಗಮನ ಮತ್ತು ಚಲನೆ: DVC push/pull ವಸ್ತು ಘರ್ಷಣೆಯನ್ನು ಹೆಚ್ಚಿಸಬಹುದು. lakeFS ಓದುಗಳು ಬಹುತೇಕ ಪಾಸ್-ತ್ರೂ ಆಗಿವೆ. ನೀವು ಗುಡಿಬೇಲಿ ವೆಚ್ಚದಿಂದ ಕಳಗುತಿ ಅನುಭವಿಸುವಿರಿ ಎಂದರೆ lakeFS ನ “ನಕಲು ಇಲ್ಲದ ಶಾಖೆ” ಮಾದರಿ ಗೆತ್ತು.

ಆಪ್ಸ್ ಓವರ್ಹೆಡ್: DVC ವೆಚ್ಚ ಮೊದಲು ಡೆವಲಪರ್ ಸಮಯ; lakeFS ವೆಚ್ಚ ಸೇವಾ ನಿರ್ವಹಣೆ - ಬ್ಯಾಕಪ್‌ಗಳು, ನವೀಕರಣಗಳು, ನೀತಿಗಳು.

ತೆರುಗಳು (ಯಾರು ಸಹ ಮಾತನಾಡಲು ಇಷ್ಟಪಡುವುದಿಲ್ಲ)

DVC ಮರ್ಜ್ ವೈಫಲ್ಯಗಳು ಮಾಯಾಜಾಲವಲ್ಲ: ನೀವು CSV ಸಾಲುಗಳನ್ನು ಮರ್ಜ್ ಮಾಡುತ್ತಿಲ್ಲ. ನೀವು ಯಾವ ಬ್ಲಾಬ್ ಗೆ ಗೆಲುವು ಕೊಡುತ್ತೀರಿ ಎಂದು ಹೊಂದಿಕೊಳ್ಳುತ್ತಿದ್ದೀರಿ. ಸೂಕ್ಷ್ಮ ಮರ್ಜ್‌ಗಳಿಗೆ ನಿಜವಾದ ಡೇಟಾ ಪ್ರಕ್ರಿಯೆ ಬೇಕಾಗುತ್ತದೆ.

lakeFS ಮರ್ಜ್ ವ್ಯಾಖ್ಯಾನಗಳು SQL ಅಲ್ಲ: ನೀವು S3 ಪಥಗಳನ್ನು ಶಾಖೆ ಮತ್ತು ಮರ್ಜ್ ಮಾಡಬಹುದು, ಆದರೆ ಅರ್ಥಪೂರ್ಣ ಟೇಬಲ್ ಬದಲಾವಣೆಗಳನ್ನು (ಪಾರ್ಟಿಷನ್ ಮರು ವಿಂಗಡಣೆ, ಅಪ್ಸೆಟ್) ಹೊಂದಿಕೊಳ್ಳುವುದು lakeFS ಕೆಲಸವಲ್ಲ. ಫೈಲ್ ಸಿಸ್ಟಮ್ ಅನ್ನು ಯೋಚಿಸಿ, ಡೇಟಾಬೇಸ್ ಅಲ್ಲ.

ಪ್ರವೇಶ ನಿಯಂತ್ರಣ ವಿಭಿನ್ನ: DVC Git ನ ಸಾಮಾಜಿಕ ಮಾದರಿಯನ್ನು (PR, ವಿಮರ್ಶೆಗಳು) ಅವಲಂಬಿಸಿದೆ. lakeFS IAM ಮತ್ತು ನೀತಿ ಹೂಕ್‌ಗಳೊಂದಿಗೆ ಸಾಧರಿಸುತ್ತದೆ. ನಿಮ್ಮ ಸಂಸ್ಥೆಯಲ್ಲಿ ಡೇಟಾ IAM ಕೇಂದ್ರಿತ ಇದ್ದರೆ lakeFS ಸಹಜವಾಗಿ ಬೀಳುತ್ತದೆ; GitHub ನಲ್ಲಿ ಇದ್ದರೆ DVC ಸರಿಹೊಂದುತ್ತದೆ.

ಸಂಯೋಜನೆಗಳು: ಎಂಜಿನ್ಗಳು, ಆರ್ಕೆಸ್ಟ್ರೇಟರ್‌ಗಳು ಮತ್ತು ನಿಜ ಜೀವನ

DVC: GitHub/GitLab CI, Makefiles, Airflow, ಮತ್ತು ಸ್ಥಳೀಯ ಡೆವ್ ಜೊತೆಗೆ ಚೆನ್ನಾಗಿವೆ. ಎಂಎಲ್ ಪ್ರಯೋಗಗಳಿಗಾಗಿ DVCಯ ಪ್ರಯೋಗ ಟ್ರ್ಯಾಕಿಂಗ್ ಮತ್ತು ವಸ್ತು ನಿರ್ವಹಣೆ ಆಕರ್ಷಕ.

lakeFS: Spark, Hive, Trino, Presto, dbt (ಬಾಹ್ಯ ಟೇಬಲ್ ಮೂಲಕ), Airflow ಮತ್ತು ಯಾವುದಾದರೂ ಎಂಜಿನ್ s3a://repo/branch/path ಓದುವ ಮೂಲಕ ಚೆನ್ನಾಗಿ ಕೆಲಸ ಮಾಡುವದು. ನಿಮ್ಮ ಕಂಪ್ಯೂಟ್ ಸ್ಟಾಕ್ ಅದೇ ಸಂಗ್ರಹ ಭಾಷೆ ಮಾತನಾಡುವುದು ಮುಖ್ಯ.

ಭದ್ರತೆ ಮತ್ತು ಅನುಸರಣೆ ಬ್ರಹ್ಮಚರ್ಚೆಯಿಲ್ಲದೆ

DVC: ಭದ್ರತೆ ನಿಮ್ಮ ಕ್ಲೌಡ್ ಸಂಗ್ರಹ ಮತ್ತು Git ಅನುಮತಿಗಳ ಮೇಲೆ ಆಧಾರ. ಪರಿಶೀಲನೆ ಪೈಪ್ಲೈನ್ ಮಟ್ಟದಲ್ಲಿ - ಏನು ಏನು ಮತ್ತು ಯಾವಾಗ ಉತ್ಪತ್ತಿ ಆಯ್ತು.

lakeFS: ಪ್ರತಿ ಕಮಿಟ್ ಪರಿಶೀಲನಾ ಬಿಂದು. ಮರ್ಜ್ ಮೊದಲ ಡೇಟಾ ಸ್ಕ್ಯಾನ್ ಮಾಡಬಹುದು. GDPR-ಶೈಲಿಯ “ಏನು ಏನು ಬದಲಾಯಿಸಿದ” ಬಗ್ಗೆ ನೀವು ಕಾಳಜಿ ಇರುವಾಗ lakeFS ಉತ್ತಮ ಆಯ್ಕೆ.

ಸರಳ-ಇಂಗ್ಲಿಷ್ ಮುಖಾಮುಖಿ

ಪ್ರಾಥಮಿಕ ಕೀವರ್ಡ್ — “lakeFS vs DVC” صرف ಹೋಲಿಕೆ ಅಲ್ಲ; ಅದು ತತ್ವಶಾಸ್ತ್ರದಲ್ಲಿಯೊಂದು ವಿಭಜನೆ. DVC ದೊಡ್ಡ ಕಡತಗಳು ಮತ್ತು ಪ್ರಯೋಗಗಳ Git-ಉಪಕರಣ. lakeFS Git-ಹಾಗಿರುವ ತತ್ವಗಳು ನಿಮ್ಮ ಡೇಟಾ ವಾಸಿಸುವ ಸ್ಥಳದಲ್ಲಿ.

ನಿಮ್ಮ ದಿನವು ಹೆಚ್ಚಾಗಿ ಕೋಡ್ ಮತ್ತು ಡೇಟಾ ಅನ್ನು ಸ್ಪರ್ಶಿಸುವುದಾದರೆ, DVC ಸಂತೋಷದಾಯಕ.

ನಿಮ್ಮ ದಿನವು ಹೆಚ್ಚಾಗಿ ಡೇಟಾ ಆಗಿದ್ದು ಕೆಲವೊಮ್ಮೆ ಕೋಡ್ ಭೇಟಿ ಮಾಡುವುದು ಇದ್ದರೆ lakeFS ಆಯ್ಕೆಮಾಡಿ.

ನಿಮ್ಮ ದಿನ ಎರಡೂ ಇದ್ದರೆ, ಅಭಿನಂದನೆಗಳು: ನೀವು ಸಾಮಾನ್ಯ. ಕೋಡ್-ಮುಖ್ಯ ಲೂಪಿಗೆ DVC ಬಳಸಿ; ಲೇಕ್-ಮುಖ್ಯ ಲೂಪಿಗೆ lakeFS ಬಳಸಿ. “ಎರಡೂ” ಎಂದರೆ ಸರಿಯಾದ ನಿರ್ಧಾರ.

ಒಂದು ಟೂಲಿಂಗ್ ಹೊಡೆತದ ಟಿಪ್ಪಣಿ (ಮತ್ತು Sider.AI ಎಲ್ಲಿ ಬೀಳುತ್ತದೆ)

ಉಪಕರಣಗಳು ಸಮಯ ಉಳಿಸದಿದ್ದರೆ ಅಥವಾ ಗೊಂದಲ ತಡೆದಿದ್ದರೆ ಮಾತ್ರ ಆಸಕ್ತಿದಾಯಕ. ಬೇರೆೆಲ್ಲಾ ಡೆಮೋ ಮಾತ್ರ. Sider.AI ಇಲ್ಲಿ ಸಹಾಯ ಮಾಡುತ್ತದೆ—ನಿಮ್ಮ ಲೇಕ್ ಆಗುವುದಾಗಿ ನಂಬದೆ, ನಿಮ್ಮ ಪೈಪ್ಲೈನ್ಗಳ ಬಗ್ಗೆ ಯೋಚಿಸಲು, ರಕ್ಷಣಾತ್ಮಕ ತಪಾಸಣೆಗಳನ್ನು ರಚಿಸಲು ಮತ್ತು ನಿಮ್ಮ ದಾಖಲೆಗಳನ್ನು ಚಾಲನೆಯಲ್ಲಿಡಲು. ನೀವು DVC ಮತ್ತು lakeFS ಒಟ್ಟಿಗೆ ಸಂಪರ್ಕಿಸುವಾಗ, Sider.AI ಸಹಜ ಸ್ನೇಹಿತ, ”ನಿಮ್ಮ ಬ್ರೇಕರ್‌ಗಳಿಗೆ ಲೇಬಲ್ ಹಾಕಿ” ಎಂದು ಹೇಳುತ್ತಾ ಲೇಬಲ್ಗಳನ್ನು ಪ್ರಿಂಟ್ ಮಾಡುತ್ತದೆ.

ಪ್ರಾಯೋಗಿಕ ದೃಶ್ಯಗಳು: ಕಾಡಿನಲ್ಲಿ lakeFS vs DVC

ದೃಶ್ಯ 1: ETL ಗೆ ವೈಶಿಷ್ಟ್ಯ पृथ್ಕರಿಕೆ

ನೀವು ಬ್ರ್ಯಾಂಜ್ ಸರ್ಕಲ್ Bronze/Silver/Gold ಲೇಕ್ ಅನ್ನು ನಿರ್ವಹಿಸುತ್ತೀರಿ. ನೀವು ಕ್ಲಿಕ್‌ಸ್ಟ್ರೀಮ್ ಇನ್‌ಗೆಸ್ಟನ್ ಹೊಸ ಸ್ಕೀಮಾ ಪರೀಕ್ಷಿಸುವ ಬಯಕೆ ಇದೆ ಬದಲಾವಣೆ ಇಲ್ಲದೆ ಡ್ಯಾಶ್‌ಬೋರ್ಡ್ ಮುರಿಯದೆ. lakeFS ಜೊತೆ, etl/schema-v2 ಅನ್ನು silver ನಿಂದ ಶಾಖೆ ಮಾಡಿ, ಕೆಲಸಗಳನ್ನು ನಡೆಸಿ, पृथ್ಕೃತಿಯಲ್ಲಿ ಪರಿಶೀಲಿಸಿ, ಮತ್ತು ಪರಿಶೀಲನೆ ಪಾಸ್ ಆದ ನಂತರ ಮರ್ಜ್ ಮಾಡಿ. ಇವು ಷಾಡೋ ಬಕೇಟ್‌ಗಳು ಇಲ್ಲ, ರಾತ್ರಿತೊಡಕರು ನಕಲು ಇಲ್ಲ.

ದೃಶ್ಯ 2: ಪುನರುತ್ಪಾದನೀಯ ತರಬೇತಿ ಓಡಣೆಗಳು

ನೀವು ವಾರಂವಾರ ಮಾದರಿಗಳನ್ನು ತರಬೇತಿಮಾಡುತ್ತೀರಿ. DVC ಸ್ನಾಪ್‌ಶಾಟ್ (data.dvc lakeFS ಕಮಿಟ್ ಅಥವಾ S3 ಆವೃತ್ತಿಯನ್ನು ಸೂಚಿಸುತ್ತದೆ), ನಿಯಂತ್ರಣಗಳು ಮತ್ತು ಕೋಡ್ ನಿಖರವಾಗಿ ಪಿನ್ ಮಾಡುತ್ತದೆ. dvc repro ಓಡಣೆ ತಲುಪಿಸುತ್ತದೆ. ಮಾದರಿ, ಮೀಟ್ರಿಕ್‌ಗಳು ಮತ್ತು ಪ್ಲಾಟ್‌ಗಳು ವಸ್ತುಗಳಾಗಿ ಉಳಿಯುತ್ತವೆ. ಪರಿಶೀಲಕರಿಗೆ ಇದು ಇಷ್ಟ; ಭವಿಷ್ಯದ ನಿಮಗೂ.

ದೃಶ್ಯ 3: ಕೆಟ್ಟ ಪ್ರಕಟನೆ ಸರಿಪಡಿಸುವುದು

ಯಾರೋ main ಗೆ ತಪ್ಪಾದ Parquet ಸೆಟ್ ಪ್ರಕಟಿಸಿದ್ದಾರೆ. lakeFS ಮೂಲಕ ನೀವು ಕೊನೆಯ ಶುಭ ಕಮಿಟ್ ಗೆ ಹಿಂದಕ್ಕೆ ಹೋಗಿ, ಪ್ಯಾಚ್ ಮಾಡಿ ಮತ್ತು ಮರ್ಜ್ ಮಾಡಬಹುದು. DVC ಮೂಲಕ ನೀವು ಪೈಪ್ಲೈನ್‌ನಲ್ಲಿ ಸರಿಪಡಿಸಿ ಮತ್ತೆ ಪುಷ್ ಮಾಡಬಹುದು. ಎರಡೂ ಕೆಲಸ ಮಾಡುತ್ತದೆ; ಆದರೆ “ಪ್ರಕಟನೆ” ಎಂದರೆ ಎಲ್ಲರೂ ಓದುವ ಲೇಕ್ ಆಗಿದ್ದಾಗ lakeFS ಉತ್ತಮ.

ಸ್ಥಳಾಂತರ ಮತ್ತು ಸಹಕಾರ ಕಣ್ಣೀರು ಇಲ್ಲದೆ

ನಿಮ್ಮ ಸತ್ಯಗಳಿಗೆ ಹೆಸರು ನೀಡಿ: ಯಾವ ಡೇಟಾಸೆಟ್ ಸಿಸ್ಟಮ್-ಆಫ್-ರೆಕಾರ್ಡ್? ಯಾವವು ತಾತ್ಕಾಲಿಕ? ಸಿಸ್ಟಮ್-ಆಫ್-ರೆಕಾರ್ಡ್ lakeFS ನಲ್ಲಿ ಇಡಿ. ಪ್ರಯೋಗ ವಸ್ತುಗಳು DVC ನಲ್ಲಿ ಇಡಿ.

ಸಣ್ಣ ಸಂಯೋಜನೆ: DVC ಪ್ಯಾರಾಮ್ಸ್ ಅಥವಾ ಮೆಟಾಡೇಟಾದಲ್ಲಿ lakeFS ಕಮಿಟ್ ಐಡಿ ಸಂಗ್ರಹಿಸಿ. ಅವುಗಳನ್ನು ಬದಲಾಯಿಸಲು ಬಿಡದೆ ಡೇಟಾಸೆಟ್ ಆವೃತ್ತಿಗಳಂತೆ ಕಂಡುಕೊಳ್ಳಿ.

ಲೇಕ್ ತ ಪರಿಪಾಟಿ ಮಾಡಬೇಡಿ: ಇisolಯೈಶನ್ ನಿಂದ ನಿಜವಾದ ಹಣ ಅಥವಾ ವಾರಾಂತ್ಯಗಳನ್ನು ಉಳಿಸಲು lakeFS ಅನುಸರಿಸಿ. ಪುನರಾವರ್ತನೆಯಿಂದ ಮರು ಪ್ರಕ್ರಿಯೆಯನ್ನು ಉಳಿಸಲು DVC ಅನುಸರಿಸಿ.

ತರ್ಕಶಾಸ್ತ್ರ: ಇದು ಪಾರ್ಮ/ಕಾಗಿದೆ ಎಂದಲ್ಲ, ಸತ್ಯ ಎಲ್ಲಿದೆ ಅನ್ನೋದು.

ಸಾಫ್ಟ್‌ವೇರ್ ತಂಡಗಳು ಒಂದೇ ಉಪಕರಣ ಬಯಸುತ್ತವೆ. ಅದು ತಪ್ಪು ಪ್ರಶ್ನೆ. ಸರಿಯಾಗಿ: ಸತ್ಯ ಎಲ್ಲಿ ಇರುತ್ತದೆ?

ಸತ್ಯ ರೆಪೊದಲ್ಲಿ ಇದ್ದರೆ — ಕೋಡ್, ಸಂರಚನೆ ಹಾಗೂ ನೀವು ತರಬೇತಿಮಾಡಿದ ವಿಶೇಷ ಕಡತಗಳ ಜೊತೆ — DVC Git ನ ನೈಸರ್ಗಿಕ ವಿಸ್ತರಣೆ.

ಸತ್ಯ ಲೇಕ್ ನಲ್ಲಿ ಇದ್ದರೆ — ಟೇಬಲ್‌ಗಳು, ಪಾರ್ಟಿಷನ್‌ಗಳು ಮತ್ತು ಒಬ್ಜೆಕ್ಟ್ ಕೀಗಳು, lakeFS ನಿಮಗೆ ಕಮಿಟ್ಟಾಗಿ ಬದಲಾಗದೆ ಶಾಂತಿಯನ್ನು ನೀಡುತ್ತದೆ.

ಎರಡೂ ಆವೃತ್ತಿ ನಿಯಂತ್ರಣದ ರೂಪಗಳು. ಆದರೆ ಒಂದೇ ಮಾತ್ರ ಡೇಟಾ ವಾಸಿಸುವಲ್ಲಿ ನಿಜವಾಗಿಯೂ ಇರುತ್ತದೆ.

lakeFS vs DVC: ಜನರು ಕೇಳುವ ಪ್ರಶ್ನೆಗಳಿಗೆ ಬೇಕಾದ ತ್ವರಿತ ಉತ್ತರಗಳು

“DVC ನನ್ನ ಡೇಟಾ ಲೇಕ್ ನ್ನು ಬದಲಾಯಿಸಬಹುದೇ?” ಇಲ್ಲ. ಅದು ನಿಮ್ಮ ವಸ್ತುಗಳನ್ನು ಸಂಘಟಿಸಿ, ಪ್ರಯೋಗಗಳನ್ನು ವ್ಯವಸ್ಥಿತಗೊಳಿಸುತ್ತದೆ. S3 ಅನ್ನು ವ್ಯವಹಾರ ಸಂಗ್ರಹವಾಗಿ ಮಾಡದು.

“lakeFS ನನ್ನ ಎಂಎಲ್ ಪ್ರಯೋಗ ಟ್ರ್ಯಾಕರ್ ನ್ನು ಬದಲಾಯಿಸಬಹುದೇ?” ಅಲ್ಲ. ಅದು ಪ್ರಯೋಗಗಳ ಇನ್‌ಪುಟ್/ಔಟ್‌ಪುಟ್ ಆವೃತ್ತಿ ಮಾಡಬಹುದು, tetapi ROC ವಕ್ರಗಳ ಬಗ್ಗೆ ಆಸಕ್ತನಾಗಿಲ್ಲ.

“ಇದು Git LFS ಮಾತ್ರವಲ್ಲವಾ?” ಅದನ್ನು ಬೈಸಿಕಲ್ ಕಾರಿನಂತೆ ಹೇಳುವುದಕ್ಕೆ ಸಮಾನ. DVC Git-ಸಂಬಂಧಿತ ಆದರೆ ಡೇಟಾ ಪೈಪ್ಲೈನ್‌ಗಳನ್ನು ಬಲ್ಲದು. lakeFS Git-ಹಾಗಿರುವ ತತ್ವಗಳನ್ನು ನೀಡುತ್ತದೆ ಆದರೆ Git ನ್ನು ಪೆಟಾಬೈಟ್‌ಗೆ ಕತ್ತರಿಸುವುದಿಲ್ಲ.

ಸುಕ್ಷ್ಮತೆ ಕುರಿತ ಕ್ಷಿಪ್ರ ಪದಗಳು (ನೀವು ಎಲ್ಲಿಯಾದರೂ ಪಾವತಿಸುವಿರಿ)

ಪ್ರತಿ abstraction ನ ಒಂದು ಬಿಲ್ ಇರುತ್ತದೆ. DVC ಬಿಲ್ ಡೆವಲಪರ್ ರೂಟಿನ್ ಮತ್ತು ಕೆಲವು ಬಾರಿ ವಸ್ತುಗಳ ಸಮರ್ಪಣೆ. lakeFS ಬಿಲ್ ಸೇವೆಯನ್ನು ನಡೆಸುವುದಾಗಿ ಮತ್ತು ವಸ್ತು ಸಂಗ್ರಹದ ಮರ್ಜ್ ತತ್ವಗಳ ಕಲಿಕೆ. ಯಾವುದಾದರೂ ಉಚಿತ ತೋರುತ್ತಿದ್ದರೆ, ಅದು ನಿಮ್ಮ ಗಮನವನ್ನು ಪಡೆದುಕೊಳ್ಳುತ್ತಿದೆ.

ವಿಭಜನೆ ಶಾಟ್

“lakeFS vs DVC” ಒಂದು ಭೇಟಿ ಹೋಲುತ್ತದೆ, ಆದರೆ ಅದು ವಿಭಿನ್ನ ವಾದ್ಯಗಳನ್ನು ವಾದಿಸುವ ಇಬ್ಬರು ಸಂಗೀತಜ್ಞರ ಸಂಗೀತವಿದೆ. ಡ್ರಮ್ಮರ್‌ಗೆ ಮೆಲೋಡಿ ಹಾಕು ಎಂದು ಕೇಳಬೇಡಿ ಮತ್ತು ವ್ಯೋಲಿನ್ ಗೆ ಸಮಯ ನಿರ್ವಹಣೆ. ಕೋಡ್ ಹೊಂದಿರುವ ಲೂಪಿಗೆ DVC ಉಪಯೋಗಿಸಿ; ಡೇಟಾ ಹೊಂದಿರುವ ಜಾಗಕ್ಕೆ lakeFS ಉಪಯೋಗಿಸಿ. ಮತ್ತು ಎರಡು ಲೋಕಗಳಲ್ಲಿ ನೀವು ಇದ್ದರೆ ಮೇಲು: ನೀವು ಗಮನ ನೀಡುತ್ತಿದ್ದೀರಿ.

ಆವೃತ್ತಿ ನಿಯಂತ್ರಣದ ನಿಜ ಉದ್ದೇಶ — Git ಅಥವಾ S3 ಯ ತಿಳಲಿರುವ — ಕಮಿಟ್ ಹ್ಯಾಶ್ ಅಲ್ಲ. ಜಗತ್ತನ್ನು ಒಡೆತನ ಮಾಡದೆ ಬದಲಾವಣೆ ಮಾಡಲು ಅನುಮತಿ. ಇತರೆ ಎಲ್ಲವು ಕ್ಯಾಬಿನೆಟ್ ಬಾರ್ ಮಾತ್ರ.

ಕೀವರ್ಡ್-ಅನುಕೂಲಿತ, ಸರಳ ಭಾಷೆಯ ಶೀರ್ಷಿಕೆಗಳು (ನೀವು ಕೇಳಿದ್ದೀರಿ)

lakeFS vs DVC ML ಪೈಪ್ಲೈನ್ ಗಾಗಿ

ನಿಮ್ಮ ML ಪೈಪ್ಲೈನ್ಗಳು ಕೋಡ್-ಹೆವಿ ಅಲ್ಲದೆ ವಿಭಿನ್ನ ಡೇಟಾಸೆಟ್‌ಗಳು ಮತ್ತು ಮಾದರಿ ವಸ್ತುಗಳಾಗಿದ್ದರೆ, DVC ಉತ್ತಮ ಸಂಯೋಜನೆ: Git ನಲ್ಲಿ ಸೂಚಿಸುವ ಕಡತಗಳು, ಹ್ಯಾಶ್, ಟ್ರ್ಯಾಕ್ ಪ್ರಯೋಗಗಳು. ಬಹುಂಡು ತಂಡಗಳಿಗೆ ಡೇಟಾ-ಹೆವಿ ಪೈಪ್ಲೈನ್‌ಗಳು ಇದ್ದರೆ, lakeFS ಶಾಖಾ ಆಧಾರಿತ पृथ್ಕರಿಕೆ ಮೂಲಕ ಗೆಲುತ್ತವೆ.

lakeFS vs DVC ಡೇಟಾ ಆಡಳಿತಕ್ಕಾಗಿ

lakeFS ಪರಿಶೀಲಿಸಬಹುದಾದ ಕಮಿಟ್‌ಗಳು ಮತ್ತು ಮರ್ಜ್ ಹೂಕ್‌ಗಳನ್ನು ಸಂಗ್ರಹ ಗಡಿಯಲ್ಲಿ ಕೊಡುತ್ತದೆ. DVC ಪೈಪ್ಲೈನ್ ಗಡಿಯಲ್ಲಿ ಮೂಲವನ್ನು ಕೊಡುತ್ತದೆ. ಕಾನೂನು ಎಕ್ಸ್ಪಡಿಟ್ immutable checkpoints ನ್ನು ಬಯಸಿದರೆ lakeFS; ಇಂಜಿನಿಯರಿಂಗ್ ಬಹುಮತ ಪುನರುತ್ಪಾದನೀಯ ಓಡೆಗಳು ಬಯಸಿದರೆ DVC.

DVC ಮತ್ತು lakeFSನ್ನು ವಸ್ತು ಸಂಗ್ರಹಕ್ಕೆ ಆಯ್ಕೆ ಮಾಡುವುದು

ವಸ್ತು ಸಂಗ್ರಹ ವ್ಯವಹಾರದ ವ್ಯವಸ್ಥೆ ನೀಡುವುದಿಲ್ಲ. DVC ವಸ್ತು-ಮಟ್ಟದ ಹ್ಯಾಶ್ ಮತ್ತು push/pull ಮೂಲಕ ಅದರ ಸುತ್ತಲು ಕೆಲಸ ಮಾಡುತ್ತದೆ; lakeFS ನಕಲು-ಮೇಲೆ-ಬರಹ ಮೆಟಾಡೇಟಾ ಮತ್ತು ಶಾಖಾ ತತ್ವಗಳಿಗೆ ಹೆಚ್ಚು ಅವಲಂಬಿಸುತ್ತದೆ. ನಿಮ್ಮ ನೋವು ರೆಪೊ ಅಥವಾ ಬಕೇಟ್‌ನಲ್ಲಿದೆ ಎಂಬುದರ ಮೇಲೆ ಆಯ್ಕೆ ಮಾಡಿ.

lakeFS ಮತ್ತು DVC ಅನ್ನು ತಲೆನೋಬಿಲ್ಲದೆ ಸಮ್ಮಿಲನವಾಗಿ ಉಪಯೋಗಿಸಿ

lakeFS ಬಳಸಿ ಲೇಕ್‌ನ ಆವೃತ್ತಿಗಳನ್ನು ನಿರ್ವಹಿಸಿ; lakeFS ಕಮಿಟ್ ಐಡಿಗಳನ್ನು DVC ಗೆ ತೋರಿಸಿ, ಇದು ಪ್ರಯೋಗಗಳಿಗೆ ನಿಖರ ಇನ್‌ಪುಟ್ ಪಿನ್ ಮಾಡಿ. ಮಾದರಿ ವಸ್ತುಗಳನ್ನು DVC ರಿಮೋಟ್‌ಗಳಲ್ಲಿ ಇಡಿ; ಅಜಾತ ಮತ್ತು ಶುದ್ಧೀಕೃತ ಡೇಟಾಸೆಟ್‌ಗಳನ್ನು lakeFS ಶಾಖೆಗಳಲ್ಲಿ ಇಡಿ. ಯಾವುದೇ ಅಕ್ರಮ ತಂತ್ರಗಳು ಬೇಕಾಗಿಲ್ಲ.

ಸಾಮಾನ್ಯ ಪ್ರಶ್ನೆಗಳು

ಪ್ರ 1: ML ಪ್ರಯೋಗಗಳಿಗೆ ಯಾವುದು ಉತ್ತಮ: lakeFS ಅಥವಾ DVC? ML ಪ್ರಯೋಗಗಳಿಗೆ, ಸಾಮಾನ್ಯವಾಗಿ DVC ಉತ್ತಮ. ಇದು ಕೋಡ್, ನಿಯಂತ್ರಣಗಳು, ಡೇಟಾಸೆಟ್‌ಗಳು ಮತ್ತು ಮಾದರಿಗಳನ್ನು ನೇರವಾಗಿ ಜೊತೆಗಿಡುತ್ತದೆ, lakeFS ಲೇಕ್ ಮಟ್ಟದಲ್ಲಿ ಡೇಟಾಸೆಟ್ पृथ್ಕರಿಕೆ ಮತ್ತು ಕಾಲ ಸಂಚಾರ ನಿರ್ವಹಿಸುತ್ತದೆ.

ಪ್ರ 2: lakeFS ಮತ್ತು DVC ಇಬ್ಬರೂ ಗಡಿಬಿಡಿ ಇಲ್ಲದೆ ಉಪಯೋಗಿಸಬಹುದೆ? ಹೌದು. lakeFS ಕಮಿಟ್‌ಗಳನ್ನು ಬಳಸಿ ಲೇಕ್ ಡೇಟಾಸೆಟ್‌ಗಳನ್ನು ಆವೃತ್ತಿ ಮಾಡಿ ಮತ್ತು ಆ ಕಮಿಟ್ ಐಡಿಗಳನ್ನು DVC ಯಲ್ಲಿ ಸೂಚಿಸಿ. DVC ವಸ್ತುಗಳು ಮತ್ತು ಪೈಪೈನ್‌ಗಳನ್ನು ನಿರ್ವಹಿಸಲಿ; lakeFS ವಸ್ತು ಸಂಗ್ರಹದಲ್ಲಿ ಶಾಖೆಗಳು ಮತ್ತು ಮರ್ಜ್‌ಗಳನ್ನು ನಿರ್ವಹಿಸಲಿ.

ಪ್ರ 3: DVC ಡೇಟಾ ಲೇಕ್ ಅಥವಾ lakeFS ಬದಲಾಯಿಸುತ್ತದೆಯೇ? ಇಲ್ಲ. DVC Git ಸುತ್ತಲೂ ದೊಡ್ಡ ಕಡತಗಳು ಮತ್ತು ಪ್ರಯೋಗಗಳನ್ನು ಒಗ್ಗೂಡಿಸುತ್ತದೆ; ಅದು S3 ಅನ್ನು ವ್ಯವಹಾರಗಳ ಸಂಗ್ರಹವಾಗಿ ಮಾಡದು. lakeFS ನಿಮ್ಮ ಲೇಕ್ ಮುಂದೆ ಕುಳಿತು ಶಾಖೆ, ಕಮಿಟ್ ಮತ್ತು पृथ್ಕರಿಕೆ ಕಲ್ಪಿಸುತ್ತದೆ.

ಪ್ರ 4: lakeFS ಸಣ್ಣ ತಂಡಗಳಿಗೆ ಬೇಸರವೈಶಿಷ್ಟ್ಯವಹಿಸಿದದಲ್ಲವೇ? ಬಹುಶಃ ಹೌದು. ನೀವು ಬಹು-ತಂಡ पृथ್ಕರಿಕೆ ಅಥವಾ ಆಡಳಿತ ವಾಸ್ತವಿಕವಾಗಿ ಕಳಪೆ ಮಾಡದಿದ್ದರೆ, DVC ಸರಳತೆ ಆಕರ್ಷಕ. lakeFS ಶಾಖಾ ಆಧಾರಿತ पृथ್ಕರಿಕೆ ಮತ್ತು ಪರಿಶೀಲನೆ ಟ್ರೇಲ್ಗಳು ನಿಜವಾಗಿ ಹಣ ಅಥವಾ ಅಡಚಣೆಗಳನ್ನು ಉಳಿಸಿದಾಗ ಮಾತ್ರ ಸದುಪಯೋಗ.

Q5: lakeFS ಮತ್ತು DVC ಗೆ ಹೋಲಿಸಿದರೆ ವೆಚ್ಚಗಳು ಹೇಗೆ ಹೋಲುತ್ತವೆ? DVC ಯ ವೆಚ್ಚಗಳು ಡೆವಲಪರ್ ಸಮಯ ಮತ್ತು ಪುಶ್/ಪುಲ್ ಸಮಯದಲ್ಲಿ ಸಂಗ್ರಹಣಾ ಚರ್ನ್ ಕಡೆಗೆ ವಾಲುತ್ತವೆ. lakeFS ನ ವೆಚ್ಚಗಳು ಸೇವೆಯನ್ನು ಚಾಲನೆ ಮಾಡುವುದು ಮತ್ತು ಪಾಲಿಸಿಗಳನ್ನು ನಿರ್ವಹಿಸುವ ಕಡೆಗೆ ವಾಲುತ್ತವೆ, ಆದರೆ ಬ್ರಾಂಚಿಂಗ್ ಅಗ್ಗವಾಗಿದೆ ಮತ್ತು ಹೊರಹೋಗುವಿಕೆಗೆ (egress) ಅನುಕೂಲಕರವಾಗಿದೆ.

lakeFS vs DVC: ಆವೃತ್ತಿ ನಿಯಂತ್ರಣವು ಒಂದು ಫೈಲ್‌ಸಿಸ್ಟಮ್ ಆಗಲು ಬಯಸುತ್ತದೆ