அப்பாச்சி ஐஸ்பெர்க் (Apache Iceberg) டேட்டா லேக்குகளின் எதிர்காலமா? ஒரு ஆழமான ICEBERG விமர்சனம்
உங்கள் டேட்டா லேக் (data lake) டேட்டா சேற்றில் சிக்கியது போல் இருந்தால் - மெதுவான கேள்விகள், ஒழுங்கற்ற ஸ்கீமா பரிணாமம், நிலையற்ற பகிர்வுகள் - நீங்கள் மட்டும் தனியாக இல்லை. கடந்த சில வருடங்களில், ஒரு தொழில்நுட்பம் அமைதியாக நம்பகமான, பெரிய அளவிலான பகுப்பாய்வுக்கான முதுகெலும்பாக மாறியுள்ளது: அப்பாச்சி ஐஸ்பெர்க் (Apache Iceberg). இந்த ICEBERG மதிப்பாய்வில், இது பழைய டேபிள் வடிவங்களிலிருந்து எவ்வாறு வேறுபடுகிறது, யார் இதை ஏற்றுக்கொள்ள வேண்டும், மேலும் இது நிஜ உலக குழாய்களில் எவ்வாறு செயல்படுகிறது என்பதைப் பார்ப்போம்.
இது ஒரு நடைமுறை, தீர்வு சார்ந்த ஆழமான பகுப்பாய்வு, இதில் அனுபவபூர்வமான எடுத்துக்காட்டுகள், நன்மை தீமைகள் மற்றும் ஐஸ்பெர்க்கிற்கு மாறுவதை மதிப்பிடும் குழுக்களுக்கான வாங்குபவர் பாணி வழிகாட்டுதல் ஆகியவை அடங்கும்.
அப்பாச்சி ஐஸ்பெர்க் (Apache Iceberg) என்றால் என்ன - ஏன் இப்போது?
அப்பாச்சி ஐஸ்பெர்க் (Apache Iceberg) என்பது பெரிய பகுப்பாய்வு தரவுத்தொகுப்புகளுக்காக வடிவமைக்கப்பட்ட உயர் செயல்திறன் டேபிள் வடிவமைப்பாகும். இது SQL டேபிள்களின் நம்பகத்தன்மையையும் எளிமையையும் விரிவான, ஸ்கீமா-ஃப்ளூயிட் டேட்டா லேக்குகளுக்குக் கொண்டுவருகிறது. சுருக்கமாக: ஐஸ்பெர்க் (Iceberg) உங்கள் ஆப்ஜெக்ட் ஸ்டோரேஜை (S3, ADLS, GCS, HDFS) ACID- இணக்கமான டேபிள்களாக மாற்றுகிறது, அதை நீங்கள் பாதுகாப்பாக மாற்றலாம், வினவலாம் மற்றும் பெரிய அளவில் நிர்வகிக்கலாம். ஸ்கீமா பரிணாமம், பகிர்வு விவரக்குறிப்பு மாற்றங்கள், ஸ்னாப்ஷாட்டிங் மற்றும் பல-இயந்திர இயங்குதன்மை போன்ற அம்சங்களுடன் பெரிய பகுப்பாய்விற்காக இது வடிவமைக்கப்பட்டுள்ளது என்று பல ஆதாரங்கள் விவரிக்கின்றன.
ஏன் இப்போது? ஏனெனில் டேட்டா பொறியியல் குழுக்களுக்குத் தேவை:
- கிளவுட் ஆப்ஜெக்ட் ஸ்டோரேஜ் முழுவதும் நம்பகமான ACID செயல்பாடுகள்.
- Spark, Flink, Trino/Presto, Snowflake மற்றும் பலவற்றிலிருந்து பயன்படுத்தக்கூடிய எஞ்சின்-சார்பற்ற டேபிள்கள்.
- சாமர்த்தியமான மெட்டாடேட்டா, மேனிஃபெஸ்ட் லிஸ்ட்கள் (manifest lists) மற்றும் மறைக்கப்பட்ட பகிர்வு மூலம் வேகமான, மலிவான வினவல்கள்.
- எல்லாவற்றையும் மீண்டும் எழுதாமல் ஸ்கீமாக்கள் மற்றும் பகிர்வுகளின் பாதுகாப்பான பரிணாமம்.
தீர்ப்பு
- நவீன பகுப்பாய்வு தளங்களுக்கு, அப்பாச்சி ஐஸ்பெர்க் (Apache Iceberg) வலுவான ACID உத்தரவாதங்களுடன் இயந்திரங்கள் மற்றும் கிளவுட்கள் முழுவதும் டேபிள்களை தரப்படுத்த ஒரு முன்னணி தேர்வாகும்.
- இது நம்பகத்தன்மை மற்றும் நிர்வாகத்திறனில் பாரம்பரிய DIY பகிர்வு மற்றும் எளிய Parquet தளவமைப்புகளை விட சிறப்பாக செயல்படுகிறது.
- இடமாற்றம் மற்றும் நிர்வாக திட்டமிடல் அவ்வளவு எளிதானது அல்ல என்றாலும், ஐஸ்பெர்க்கின் (Iceberg) ஸ்னாப்ஷாட் ஐசோலேஷன், மெட்டாடேட்டா தளவமைப்பு மற்றும் எஞ்சின் ஒருங்கிணைப்பு ஆகியவை பெரும்பாலான தரவு குழுக்களுக்கு நீண்ட கால வெற்றியைத் தரும்.
ஐஸ்பெர்க் ஒரு கண்ணோட்டம்: முக்கிய திறன்கள்
- ஆப்ஜெக்ட் ஸ்டோரேஜில் ACID பரிவர்த்தனைகள்
- ஸ்னாப்ஷாட் ஐசோலேஷன் மற்றும் டைம்-டிராவல் ரீட்ஸ் (time-travel reads)
- மறைக்கப்பட்ட பகிர்வு (பயனர்களுக்கு பகிர்வு நெடுவரிசைகளை வெளிப்படுத்தாது)
- நெகிழ்வான ஸ்கீமா பரிணாமம் (ID அடிப்படையிலான நெடுவரிசைகளுடன் சேர்த்தல், பெயர் மாற்றம், மறுசீரமை)
- வரலாற்றை மீண்டும் எழுதாமல் பகிர்வு விவரக்குறிப்புகளை உருவாக்குதல்
- பல-இயந்திர இயங்குதன்மை (Spark, Flink, Trino/Presto மற்றும் பல)
- பெரிய அளவிலான செயல்திறனுக்கான மெட்டாடேட்டா சார்ந்த திட்டமிடல்
இவை வெறும் மார்க்கெட்டிங் கூற்றுகள் அல்ல; ஐஸ்பெர்க்கின் (Iceberg) கட்டமைப்பு - டேபிள்கள், ஸ்னாப்ஷாட்கள், மேனிஃபெஸ்ட்கள், மேனிஃபெஸ்ட் லிஸ்ட்கள் மற்றும் மெட்டாடேட்டா கோப்புகள் - கோப்பு-பட்டியலிடல் சுமையை முறையாகக் குறைக்கிறது மற்றும் பெட்டபைட் அளவில் திட்டமிடலை மிகவும் திறமையாக்குகிறது.
இந்த ICEBERG விமர்சனம் யாருக்கானது
- பல-இயந்திர லேக்ஹவுஸை வடிவமைக்கும் டேட்டா பொறியியல் தலைவர்கள்.
- ஒரே டேபிள் வடிவத்தில் Spark/Trino/Flink ஐ ஒருங்கிணைக்கும் தளக் குழுக்கள்.
- Hive-ஸ்டைல் பகிர்வு அல்லது தற்காலிக Parquet உடன் வரம்புகளை எட்டும் பகுப்பாய்வு நிறுவனங்கள்.
- நேரப் பயணம், ரோல் பேக் (rollback) அல்லது மீண்டும் உருவாக்கக்கூடிய சோதனைகள் தேவைப்படும் குழுக்கள்.
ஐஸ்பெர்க் (Iceberg) தீர்க்கும் பெரிய பிரச்சனைகள்
1) ஆப்ஜெக்ட் ஸ்டோரேஜில் மாற்ற பாதுகாப்பு
பாரம்பரிய டேட்டா லேக்குகள் ஒரே நேரத்தில் எழுதுதல் மற்றும் பகுதி தோல்விகளுடன் போராடுகின்றன. ஐஸ்பெர்க் (Iceberg) பெரிய அளவிலும் பரிவர்த்தனை நிலைத்தன்மையை உறுதி செய்வதற்காக அணு கமிட் செமாண்டிக்ஸ்-ஐ (atomic commit semantics) - ஸ்னாப்ஷாட் மேனிஃபெஸ்ட்கள் மூலம் பயன்படுத்துகிறது. S3 பட்டியல்களை மேற்பார்வையிடுவதற்குப் பதிலாக நம்பிக்கையுடன் எழுதலாம், சுருக்கலாம் மற்றும் புதுப்பிக்கலாம்.
2) கனவுகள் இல்லாத ஸ்கீமா பரிணாமம்
ஐஸ்பெர்க் (Iceberg) ஸ்கீமா பரிணாமத்திற்கு நிலையான நெடுவரிசை IDகளைப் பயன்படுத்துகிறது, வெறும் பெயர்களை அல்ல. அதாவது பழைய தரவை சிதைக்காமல் நெடுவரிசைகளின் பெயரை மாற்றலாம் அல்லது மறுசீரமைக்கலாம். ஸ்கீமா மாற்றம் தவிர்க்க முடியாத நீண்டகால தரவுத்தொகுப்புகளுக்கு இது ஒரு அமைதியான சூப்பர் பவர்.
3) கசியாத பகிர்வு
மறைக்கப்பட்ட பகிர்வு என்றால் பயனர்கள் தரவு எவ்வாறு பிரிக்கப்பட்டுள்ளது என்பதை அறியவோ அல்லது கவலைப்படவோ தேவையில்லை. வினவல்கள் நிலையானதாக இருக்கும்போது, பகிர்வு விவரக்குறிப்புகளை காலப்போக்கில் உருவாக்கலாம் (எ.கா., நாள் → மணி). பகிர்வு நெடுவரிசைகள் காரணமாக SQL இனி உடைந்து போகாது.
4) பெரிய அளவில் திறமையான திட்டமிடல்
மேனிஃபெஸ்ட் கோப்புகள் மற்றும் மெட்டாடேட்டா ட்ரீக்களுடன் (metadata trees), ஐஸ்பெர்க் (Iceberg) பெட்டபைட் அளவில் வினவல் திட்டமிடுபவர்களை நசுக்கும் விலையுயர்ந்த கோப்பு-பட்டியலிடல் செயல்பாடுகளைத் தவிர்க்கிறது. இயந்திரங்கள் மில்லியன் கணக்கான கோப்பு பாதைகளுக்குப் பதிலாக, சிறிய மெட்டாடேட்டாவை முதலில் படிக்கின்றன.
உண்மையான பயன்பாட்டு நிகழ்வுகள்
- ஒருங்கிணைந்த பகுப்பாய்வு அடுக்கு: ETL க்கான Spark, தற்காலிக SQL க்கான Trino மற்றும் ஸ்ட்ரீமிங் அப்சர்ட்களுக்கான Flink ஆகியவற்றால் படிக்கக்கூடிய ஐஸ்பெர்க் (Iceberg) டேபிள்களாக தொகுக்கப்பட்ட உண்மைகள் மற்றும் பரிமாணங்களைச் சேமிக்கவும்.
- இயந்திர கற்றல் அம்சக் கடைகள்: நேரப் பயணம் மீண்டும் உருவாக்கக்கூடிய பயிற்சித் தொகுப்புகளை இயக்குகிறது; ஸ்கீமா மாற்றங்கள் வரலாற்று அம்சங்களை தகர்க்காது.
- நிர்வாகம் மற்றும் ரோல் பேக் (rollback): ஸ்னாப்ஷாட்கள் தற்செயலான எழுத்துக்களை ரோல் பேக் செய்யவும் மற்றும் குறைவான ஆபத்துடன் தரவு தக்கவைப்பு கொள்கைகளை ஆதரிக்கவும் உங்களை அனுமதிக்கின்றன.
- ஸ்ட்ரீமிங் + தொகுதி ஒருங்கிணைப்பு: அப்சர்ட்ஸ் (upserts) மற்றும் MERGE பேட்டர்ன்கள் நிலையானதாக மாறும், இது பெரிய அளவில் CDC குழாய்களை செயல்படுத்துகிறது.
கட்டமைப்பு: ஐஸ்பெர்க் (Iceberg) உங்கள் லேக்கை எவ்வாறு ஒழுங்கமைக்கிறது
- டேபிள் மெட்டாடேட்டா கோப்பு: டேபிளைப் பற்றிய "உண்மை" - ஸ்கீமா, பகிர்வு விவரக்குறிப்பு, ஸ்னாப்ஷாட்கள்.
- ஸ்னாப்ஷாட்கள்: டேபிள் நிலையின் மாற்ற முடியாத பதிப்புகள், நேரப் பயணம் மற்றும் ரோல் பேக்குகளை இயக்குகிறது.
- மேனிஃபெஸ்ட் லிஸ்ட்கள்: ஒரு ஸ்னாப்ஷாட்டுக்கு எந்த மேனிஃபெஸ்ட்கள் சொந்தமானவை என்பதைக் குறிக்கும் அட்டவணை.
- மேனிஃபெஸ்ட்கள்: பகிர்வு புள்ளிவிவரங்கள் மற்றும் நெடுவரிசை-நிலை அளவீடுகளுடன் தரவு கோப்புகளின் பட்டியல்.
- தரவு கோப்புகள்: பொதுவாக Parquet (ORC/Avroவும் கூட), ஆப்ஜெக்ட் ஸ்டோரேஜில் சேமிக்கப்படுகிறது.
இந்த அடுக்கப்பட்ட மெட்டாடேட்டா அணுகுமுறை விரைவான கண்டுபிடிப்பு மற்றும் கத்தரித்து விடுவதை அனுமதிக்கிறது, இது பெரிய டேபிள்களுக்கான திட்டமிடல் தாமதத்தை குறைக்கிறது.
செயல்திறன்: என்ன எதிர்பார்க்கலாம்
- வேகமான திட்டமிடல்: மெட்டாடேட்டா கத்தரித்து விடுதல் மற்றும் மேனிஃபெஸ்ட்களுக்கு நன்றி செலுத்தி வினவல் திட்டமிடல் சுமையில் குறிப்பிடத்தக்க குறைப்பு.
- சிறந்த கத்தரித்து விடுதல்: பகிர்வு பரிணாமம் மற்றும் நெடுவரிசை புள்ளிவிவரங்கள் குறைவான I/O ஐ இயக்குகின்றன.
- நிலையான ஒருங்கமைவு: ஸ்னாப்ஷாட் ஐசோலேஷன் பகுதி எழுத்துக்களை ரீடர்கள் பார்ப்பதைத் தடுக்கிறது.
- செலவு கட்டுப்பாடு: குறைவான வீணான பட்டியலிடல் மற்றும் ஸ்கேனிங் ஆகியவை கணினி கட்டணங்களைக் குறைக்கின்றன.
உண்மையான முடிவுகள் எஞ்சின், கோப்பு அளவுகள், சுருக்கக் கொள்கை மற்றும் பணிச்சுமையைப் பொறுத்தது, ஆனால் ஐஸ்பெர்க்கின் (Iceberg) வடிவமைப்பு பாரம்பரிய தரவு லேக்குகளில் மெதுவான, விலையுயர்ந்த வினவல்களை ஏற்படுத்தும் வலி புள்ளிகளை நேரடியாக குறிவைக்கிறது.
டெவலப்பர் அனுபவம்: முதல் நாள் முதல் 100வது நாள் வரை
- முதல் நாள் அமைப்பு: ஐஸ்பெர்க் (Iceberg) பட்டியலை (glue/hive/rest) உருவாக்கி, டேபிள்களை வரையறுத்து, Spark/Trino/Flink ஐ அதில் சுட்டிக்காட்டுங்கள். பெரும்பாலான இயந்திரங்கள் சொந்த ஐஸ்பெர்க் (Iceberg) இணைப்பிகள் அல்லது முதிர்ந்த ஒருங்கிணைப்புகளை வழங்குகின்றன.
- ஸ்கீமா மற்றும் பகிர்வு பரிணாமம்: DDL மூலம் விவரக்குறிப்புகளை மாற்றவும்; வரலாற்று வாசிப்புகள் சரியானதாக இருக்க ஐஸ்பெர்க் (Iceberg) பதிப்புகளை கண்காணிக்கிறது.
- சுருக்கம் மற்றும் பராமரிப்பு: சிறிய கோப்புகளை நிர்வகிக்க அவ்வப்போது சுருக்கத்தைத் திட்டமிடுங்கள்; எஞ்சின் சொந்த நடைமுறைகள் அல்லது தனிப்பயன் வேலைகளைப் பயன்படுத்துங்கள்.
- தரவு ஆபரேஷன்ஸ் சுகாதாரம்: ஸ்னாப்ஷாட் எண்ணிக்கைகள், மேனிஃபெஸ்ட் வளர்ச்சி ஆகியவற்றைக் கண்காணித்து, செயல்திறனை கூர்மையாக வைத்திருக்க மெட்டாடேட்டா காலாவதியாகும் செயல்முறையைச் செய்யுங்கள்.
ஐஸ்பெர்க் (Iceberg) எவ்வாறு ஒப்பிடுகிறது
- S3 இல் உள்ள எளிய Parquet உடன் ஒப்பிடும்போது: ஐஸ்பெர்க் (Iceberg) ACID, நிலையான ஸ்னாப்ஷாட்கள் மற்றும் உகந்த மெட்டாடேட்டா ஆகியவற்றைச் சேர்க்கிறது, இது செதில் பட்டியலிடல் மற்றும் ஸ்கீமா மாற்றத்தைத் தவிர்க்கிறது.
- Hive டேபிள்களுடன் ஒப்பிடும்போது: ஐஸ்பெர்க்கின் (Iceberg) மறைக்கப்பட்ட பகிர்வு மற்றும் ஸ்னாப்ஷாட் ஐசோலேஷன் Hive இன் உடையக்கூடிய பகிர்வு நெடுவரிசைகள் மற்றும் பரிவர்த்தனை பாதுகாப்புக் குறைபாட்டை விட சிறந்தது.
- மற்ற லேக்ஹவுஸ் வடிவங்களுடன் ஒப்பிடும்போது: ஐஸ்பெர்க் (Iceberg) டெல்டா லேக் (Delta Lake) மற்றும் அப்பாச்சி ஹுடியுடன் (Apache Hudi) போட்டியிடுகிறது. ஐஸ்பெர்க்கின் (Iceberg) பலம் பல-இயந்திர நடுநிலைமை, நெடுவரிசை ID அடிப்படையிலான ஸ்கீமா பரிணாமம் மற்றும் இயந்திரங்கள் முழுவதும் பரந்த சமூக தத்தெடுப்பு ஆகியவை. டெல்டா (Delta) Databricks-மையப்படுத்தப்பட்ட ஸ்டேக்குகளில் பிரகாசிக்கிறது; ஹுடி (Hudi) ஸ்ட்ரீமிங் அப்சர்ட்களுக்கு பிரபலமானது. எஞ்சின் விருப்பம், மாற்றம் பேட்டர்ன்கள் மற்றும் சுற்றுச்சூழல் அமைப்பு சீரமைப்பு ஆகியவற்றின் அடிப்படையில் தேர்ந்தெடுக்கவும்.
பாதகங்கள் மற்றும் நன்மை தீமைகள்
- செயல்பாட்டு கற்றல் வளைவு: சுருக்கம், ஸ்னாப்ஷாட் தக்கவைத்தல் மற்றும் மெட்டாடேட்டா சுத்தம் ஆகியவற்றை நீங்கள் நிர்வகிக்க வேண்டும்.
- இடமாற்ற செலவு: Hive அல்லது raw Parquet இலிருந்து நகர்த்துவதற்கு கவனமாக திட்டமிடல் மற்றும் சில சமயங்களில் அதிக மறுஎழுத்து தேவைப்படுகிறது.
- எஞ்சின்/பதிப்பு சாய்வு: அம்சம் ஆதரவு எஞ்சின் மற்றும் பதிப்பைப் பொறுத்து மாறுபடலாம்; சோதிக்கப்பட்ட காம்போக்களில் தரப்படுத்தவும்.
- மெட்டாடேட்டா படர்வு: நிர்வாகம் இல்லாமல், மேனிஃபெஸ்ட்கள் மற்றும் ஸ்னாப்ஷாட்கள் விரைவாக வளரக்கூடும்.
தவிர்க்க வேண்டிய பொதுவான எதிர்-பேட்டர்ன்கள்
- சுருக்கத்தை புறக்கணித்தல்: சிறிய கோப்புகள் செயல்திறனைக் குறைக்கின்றன. சுருக்கத்தை தானியங்குபடுத்துங்கள்.
- அதிகப்படியான அடிக்கடி ஸ்னாப்ஷாட்கள்: காலாவதி கொள்கைகளுடன் ஸ்னாப்ஷாட் எண்ணிக்கைகளை கட்டுக்குள் வைத்திருங்கள்.
- வரம்பற்ற பகிர்வு பரிணாமம்: வேண்டுமென்றே பகிர்வு விவரக்குறிப்புகளை மாற்றவும்; செயல்திறன் தாக்கங்களை தணிக்கை செய்யவும்.
- ஒருமுறை எஞ்சின் உள்ளமைவுகள்: ஆச்சரியமான நடத்தையைத் தவிர்க்க ஐஸ்பெர்க்கிற்கான (Iceberg) Spark/Trino/Flink உள்ளமைவுகளை சீரமைக்கவும்.
கையளவு: வழக்கமான பணிப்பாய்வுகள்
ஐஸ்பெர்க் (Iceberg) டேபிளை உருவாக்குதல் (Spark SQL)
CREATE TABLE catalog.db.events (
event_id BIGINT,
user_id BIGINT,
ts TIMESTAMP,
payload STRING
)
USING iceberg
PARTITIONED BY (days(ts));
நேரப் பயணம் ரீட் (Time Travel Read)
-- ஒரு குறிப்பிட்ட ஸ்னாப்ஷாட் நேரத்தின்படி வினவவும்
SELECT * FROM catalog.db.events TIMESTAMP AS OF '2025-09-21 00:00:00';
ஸ்கீமா பரிணாமம்
ALTER TABLE catalog.db.events ADD COLUMN device_type STRING;
ALTER TABLE catalog.db.events RENAME COLUMN payload TO event_payload;
சிறிய கோப்புகளை மேம்படுத்துதல் (Spark)
CALL catalog.system.rewrite_data_files(
table => 'db.events',
strategy => 'binpack',
target_file_size => 134217728
);
பயனர்கள் என்ன சொல்கிறார்கள்
பொது மென்பொருள் அடைவுகள் அப்பாச்சி ஐஸ்பெர்க்கை (Apache Iceberg) ஒரு டேபிள் வடிவமைப்பாக தொடர்ந்து விவரிக்கின்றன, இது SQL போன்ற நம்பகத்தன்மையை பெரிய தரவு மற்றும் பெரிய பகுப்பாய்வு டேபிள்களுக்கு கொண்டுவருகிறது, ACID செயல்பாடுகள் மற்றும் ஆப்ஜெக்ட் ஸ்டோரேஜில் அதிக செயல்திறனை வலியுறுத்துகிறது. சில வணிக மென்பொருள் பட்டியல்கள் திறந்த மூல டேபிள் வடிவத்துடன் தொடர்பில்லாத அதே பெயரில் உள்ள தயாரிப்புகளைக் குறிப்பிடலாம், நீங்கள் தரவு பொறியியல் பயன்பாட்டு நிகழ்வுகளுக்காக குறிப்பாக "Apache Iceberg" ஐ மதிப்பிடுகிறீர்கள் என்பதை உறுதிப்படுத்திக் கொள்ளுங்கள்.
நவீன ஸ்டேக்கில் (stack) ஐஸ்பெர்க் (Iceberg) எங்கே பொருந்துகிறது
- சேமிப்பு: S3, ADLS, GCS, HDFS
- இயந்திரங்கள்: Spark (தொகுதி/ETL/ML), Flink (ஸ்ட்ரீமிங்/CDC), Trino/Presto (தற்காலிக SQL), Snowflake (வளர்ந்து வரும் ஆதரவுடன் வெளிப்புற டேபிள்கள்) மற்றும் பல
- ஆர்கெஸ்ட்ரேஷன்: Airflow, Dagster, Prefect
- பட்டியல்/மெட்டாஸ்டோர்: AWS Glue, Hive Metastore, REST பட்டியல்கள்
- நிர்வாகம்: LakeFS, Ranger, உள்ளமைக்கப்பட்ட டேபிள் பண்புகள் + தக்கவைப்பு கொள்கைகள்
இடமாற்ற விளையாட்டு புத்தகம் (நடைமுறை படிகள்)
- அளவு, SLA மற்றும் வினவல் பேட்டர்ன்களின்படி டேபிள்களை சரக்கு எடுக்கவும்.
- முக்கியமற்ற, அதிக வலி உள்ள டேபிள்களுடன் தொடங்கவும் (மெதுவான வினவல்கள், நிலையற்ற ஸ்கீமாக்கள்).
- ஐஸ்பெர்க் (Iceberg) சமமானவற்றை உருவாக்கவும்; சரிபார்க்கப்பட்ட ஸ்னாப்ஷாட்களுடன் டூயல்-ரைட் (dual-write) அல்லது பேக்ஃபில் (backfill) செய்யவும்.
- இயந்திரங்கள் முழுவதும் பிரதிநிதித்துவ பணிச்சுமைகளுடன் சரிபார்க்கவும்.
- நுகர்வோரை வெட்டிவிட்டு பழைய பாதைகளை செயலிழக்கச் செய்யுங்கள்.
- முதல் நாளிலிருந்து சுருக்கம் மற்றும் ஸ்னாப்ஷாட் காலாவதி ஆவதை தானியங்குபடுத்துங்கள்.
செலவு மற்றும் ROI பரிசீலனைகள்
- குறைந்த I/O மற்றும் வேகமான திட்டமிடலிலிருந்து கணினி சேமிப்பு.
- பரிவர்த்தனை பாதுகாப்பு மூலம் குறைக்கப்பட்ட செயலிழப்பு.
- தற்காலிக Parquet + Hive பகிர்வுகளை நிர்வகிப்பதை விட குறைந்த செயல்பாட்டு உழைப்பு.
- தரவை மறுவடிவமைக்காமல் இயந்திரங்களை மாற்றும் நெகிழ்வுத்தன்மை.
ROI பொதுவாக டேபிள் அளவு மற்றும் குழு அளவுகோலுடன் மேம்படுகிறது. நீங்கள் எவ்வளவு இயந்திரங்கள் மற்றும் குழாய்களை இயக்குகிறீர்களோ, அவ்வளவு ஐஸ்பெர்க்கின் (Iceberg) தரப்படுத்தல் பலனளிக்கிறது.
பாதுகாப்பு மற்றும் இணக்கம்
ஐஸ்பெர்க் (Iceberg) டேபிள் வடிவம் மற்றும் மெட்டாடேட்டாவில் கவனம் செலுத்துகிறது; ஸ்டோரேஜ்-லேயர் IAM, குறியாக்கம் மற்றும் சுற்றளவு கட்டுப்பாடுகளுடன் ஒருங்கிணைக்கவும். தரவு நிர்வாகத்திற்கு, பட்டியல்கள் மற்றும் கொள்கை இயந்திரங்களுடன் இணைக்கவும், மேலும் மாற்றங்களை விசாரிக்க ஸ்னாப்ஷாட்/டைம்-டிராவல் தணிக்கையைப் பயன்படுத்தவும். தேவைப்படும்போது எஞ்சின் லேயரில் வரிசை அல்லது நெடுவரிசை-நிலை பாதுகாப்பை செயல்படுத்தவும்.
அப்பாச்சி ஐஸ்பெர்க் (Apache Iceberg) உங்களுக்கு சரியானதா?
நீங்கள் பின்வருவனவாக இருந்தால் ஐஸ்பெர்க்கைத் (Iceberg) தேர்ந்தெடுக்கவும்:
- பல-இயந்திர ஆதரவுடன் ஆப்ஜெக்ட் ஸ்டோரேஜில் ACID தேவை.
- அடிக்கடி ஸ்கீமா மற்றும் பகிர்வு மாற்றங்களை எதிர்பார்க்கவும்.
- பல்வேறு பணிச்சுமைகளை இயக்கவும் (தொகுதி + ஸ்ட்ரீமிங் + தற்காலிக SQL).
- நேரப் பயணம், மீண்டும் உருவாக்குதல் மற்றும் நம்பகமான ரோல் பேக்குகள் வேண்டும்.
நீங்கள் மாற்றுகளைக் கருத்தில் கொள்ளவும்:
- நிர்வகிக்கப்படும் லேக்ஹவுஸ் வடிவமைப்பை ஏற்கனவே வழங்கும் ஒரு விற்பனையாளரின் அனைத்து அம்சங்களிலும் இருக்கிறீர்கள்.
- சிறிய தரவுத்தொகுப்புகள் அல்லது எளிய அறிக்கைகள் இருந்தால், அங்கு டேபிள் வடிவங்கள் சிறிய மதிப்பையே சேர்க்கின்றன.
குறிப்பிடத்தக்கது: உள்ளடக்கம் மற்றும் ஆவணங்களை விரைவுபடுத்துதல்
நீங்கள் இடமாற்றங்களை ஆவணப்படுத்தினால், உள் ரன்புக்களை உருவாக்குதல் அல்லது பங்குதாரர்களுக்கான இயங்குதளத் தேர்வுகளைச் சுருக்கமாகக் கூறினால், மீட்டிங் குறிப்புகள், கோட் ஸ்னிப்பெட்கள் மற்றும் விற்பனையாளர் ஆவணங்களை ஒன்றிணைக்கக்கூடிய AI உதவியாளர் நேரத்தைச் சேமிக்க முடியும். மூலம், Sider.AI ஒரு AI சைட்பாரை (sidebar) வழங்குகிறது மற்றும் உள்ளடக்கக் கருவிகள் சிக்கலான தொழில்நுட்ப ஆவணங்களைச் சுருக்கவும், எப்படி செய்வது என்பதற்கான வழிகாட்டிகளை உருவாக்கவும், மற்றும் விமர்சன வரைவுகளை விரைவாக உருவாக்கவும் குழுக்களுக்கு உதவுகின்றன - நீங்கள் ஐஸ்பெர்க்கில் (Iceberg) தரப்படுத்தும்போது மற்றும் தரவு நுகர்வோருக்கு தெளிவான உள் ஆவணங்கள் தேவைப்படும்போது பயனுள்ளதாக இருக்கும். இது உங்கள் கட்டமைப்பு முடிவுகளை மாற்றாது, ஆனால் ஆராய்ச்சி முதல் வெளியிடக்கூடிய ஆவணங்கள் வரையிலான நேரத்தை இது குறைக்கலாம். இறுதி எடுத்துரைப்பு: எங்கள் ICEBERG விமர்சனம்
அப்பாச்சி ஐஸ்பெர்க் (Apache Iceberg) ஒரு புதிய கோப்பு வடிவம் மட்டுமல்ல - இது ஒரு நிர்வாகம் மற்றும் செயல்திறன் அடுக்கு ஆகும், இது டேட்டா லேக்குகளை திறந்த மற்றும் எஞ்சின்-சார்பற்றதாக இருக்கும்போது நம்பகமான டேட்டாபேஸ்களைப் போல செயல்பட வைக்கிறது. பெரும்பாலான நடுத்தர முதல் பெரிய தரவு குழுக்களுக்கு, ஐஸ்பெர்க் (Iceberg) ACID பாதுகாப்பு, ஸ்கீமா/பகிர்வு பரிணாமம் மற்றும் குறுக்கு-இயந்திர பயன்பாட்டிற்கு சரியான சமநிலையை வழங்குகிறது. செயல்பாட்டு கற்றல் வளைவை எதிர்பார்க்கலாம், ஆனால் நீண்ட கால பலன் - வேகம், ஸ்திரத்தன்மை மற்றும் நெகிழ்வுத்தன்மை ஆகியவற்றில் - கட்டாயமானது.
முக்கிய குறிப்புகள்
- கிளவுட் ஆப்ஜெக்ட் ஸ்டோரேஜில் ஐஸ்பெர்க் (Iceberg) ACID, நேரப் பயணம் மற்றும் வேகமான திட்டமிடலை வழங்குகிறது.
- மறைக்கப்பட்ட பகிர்வு மற்றும் நெடுவரிசை ID அடிப்படையிலான ஸ்கீமா பரிணாமம் உடைவதைக் குறைக்கிறது.
- Spark, Flink, Trino மற்றும் பலவற்றில் வலுவான சுற்றுச்சூழல் ஆதரவு.
- முதல் நாளிலிருந்தே சுருக்கம் மற்றும் மெட்டாடேட்டா சுகாதாரத்திற்காக திட்டமிடுங்கள்.
- பல்வேறு, பெரிய அளவிலான பகுப்பாய்வு பணிச்சுமைகளை இயக்கும் குழுக்களுக்கு மிகவும் பொருத்தமானது.
அடுத்த நடவடிக்கைகள்
- அதிக தாக்கத்தை ஏற்படுத்தும் ஆனால் முக்கியமானதல்லாத டேபிளில் ஐஸ்பெர்க்கை (Iceberg) இயக்குங்கள்.
- இயந்திர பதிப்புகளைத் தரப்படுத்தி சுருக்கம்/தக்கவைப்பு வேலைகளை உள்ளமைக்கவும்.
- ஸ்கீமா/பகிர்வு பரிணாமத்திற்கான மரபுகளை ஆவணப்படுத்தவும்.
- இடமாற்றத்திற்குப் பிறகு செயல்திறன் ஆதாயங்கள் மற்றும் கணினி சேமிப்புகளை மதிப்பிடுங்கள்.
அடிக்கடி கேட்கப்படும் கேள்விகள்
Q1: அப்பாச்சி ஐஸ்பெர்க் (Apache Iceberg) என்றால் என்ன, அது ஏன் டேட்டா லேக்குகளில் பயன்படுத்தப்படுகிறது?
அப்பாச்சி ஐஸ்பெர்க் (Apache Iceberg) என்பது ஒரு டேபிள் வடிவமைப்பாகும், இது ACID பரிவர்த்தனைகள், நேரப் பயணம் மற்றும் திறமையான மெட்டாடேட்டாவை ஆப்ஜெக்ட் ஸ்டோரேஜுக்கு கொண்டுவருகிறது. இது Spark, Flink, Trino மற்றும் பலவற்றில் பெரிய அளவிலான பகுப்பாய்வை நம்பகமானதாகவும் எஞ்சின்-சார்பற்றதாகவும் மாற்ற பயன்படுகிறது.
Q2: டெல்டா லேக் (Delta Lake) மற்றும் அப்பாச்சி ஹுடியுடன் (Apache Hudi) ஐஸ்பெர்க் (Iceberg) எவ்வாறு ஒப்பிடுகிறது?
ஐஸ்பெர்க் (Iceberg) எஞ்சின் நடுநிலைமை, நெடுவரிசை IDகள் வழியாக ஸ்கீமா பரிணாமம் மற்றும் திறமையான திட்டமிடலை வலியுறுத்துகிறது. டெல்டா (Delta) பெரும்பாலும் Databricks-மையப்படுத்தப்பட்ட ஸ்டேக்குகளில் பிரகாசிக்கிறது, அதேசமயம் ஹுடி (Hudi) ஸ்ட்ரீமிங் அப்சர்ட்ஸ் மற்றும் CDC-கனமான பணிச்சுமைகளுக்கு பிரபலமானது.
Q3: அப்பாச்சி ஐஸ்பெர்க் (Apache Iceberg) ஸ்கீமா மற்றும் பகிர்வு பரிணாமத்தை ஆதரிக்கிறதா?
ஆம். ஐஸ்பெர்க் (Iceberg) நிலையான IDகளைப் பயன்படுத்தி நெடுவரிசைகளைச் சேர்க்க, பெயர் மாற்ற மற்றும் மறுசீரமைக்க அனுமதிக்கிறது, மேலும் இருக்கும் வினவல்களை உடைக்காமல் அல்லது பழைய தரவை மீண்டும் எழுதாமல் பகிர்வு விவரக்குறிப்புகளை உருவாக்கலாம்.
Q4: நான் பல வினவல் இயந்திரங்களுடன் ஐஸ்பெர்க்கைப் (Iceberg) பயன்படுத்தலாமா?
ஆம். ஐஸ்பெர்க் (Iceberg) Spark, Flink, Trino/Presto மற்றும் பிற இயந்திரங்களை ஆதரிக்கிறது, இது தொகுதி ETL, ஸ்ட்ரீமிங் மற்றும் தற்காலிக SQL ஆகியவற்றை நகல் இல்லாமல் வழங்க ஒரு டேபிள்களின் தொகுப்பை இயக்குகிறது.
Q5: ஐஸ்பெர்க் (Iceberg) டேபிள்களுக்கான செயல்பாட்டு சிறந்த நடைமுறைகள் யாவை?
சிறிய கோப்புகளைத் தவிர்க்க சுருக்கத்தை தானியங்குபடுத்துங்கள், மெட்டாடேட்டா வளர்ச்சியை நிர்வகிக்க பழைய ஸ்னாப்ஷாட்களை காலாவதியாக்குங்கள், மேனிஃபெஸ்ட் அளவுகளை கண்காணிக்கவும் மற்றும் நிலையான அம்சம் ஆதரவுக்கான இயந்திர பதிப்புகளைத் தரப்படுத்தவும்.
