ایئرفلو کو کیسے استعمال کریں: قابل اعتماد ڈیٹا پائپ لائنز بنانے کے لیے ایک عملی، مکمل گائیڈ
اگر آپ ڈیٹا منتقل کرتے ہیں یا ایم ایل جابز کو ترتیب دیتے ہیں، تو آپ نے غالباً یہی سنا ہوگا: "بس اسے ایئرفلو میں ڈال دیں۔" سچ تو یہ ہے کہ اپاچی ایئرفلو اس وقت بہترین کام کرتا ہے جب آپ کو پیچیدہ ورک فلوز پر مرئیت، اعتبار اور کنٹرول کی ضرورت ہو۔ اس عملی گائیڈ میں، ہم مرحلہ وار بتائیں گے کہ ایئرفلو کو کیسے استعمال کیا جائے—بنیادی تصورات سے لے کر پروڈکشن کے لیے تیار پیٹرنز تک—تاکہ آپ قابل اعتماد پائپ لائنز بھیج سکیں۔
ہم اسے قابل عمل رکھیں گے: آپ کو DAGs اور tasks کے لیے ایک ذہنی ماڈل، TaskFlow API کے ساتھ عملی مثالیں، تعیناتی کے اختیارات، جانچ کی حکمت عملی، اور بہترین طریقوں کے بارے میں معلومات ملیں گی۔ آخر تک، آپ "میں ٹیوٹوریل چلا سکتا ہوں" سے "میں اسے پروڈ میں چلا سکتا ہوں" تک پہنچ جائیں گے۔
نوٹ: مزید گہرائی میں جانے اور حوالہ دینے کے لیے، آفیشل دستاویزات بہترین ہیں اور انہیں باقاعدگی سے اپ ڈیٹ کیا جاتا ہے۔
اپاچی ایئرفلو اصل میں کیا ہے؟
ایئرفلو ایک آرکیسٹریٹر ہے—ڈیٹا پروسیسر نہیں۔ یہ اس کام کو شیڈول، ترتیب اور نگرانی کرتا ہے جو آپ کہیں اور چلاتے ہیں (ڈیٹا بیسز، ویئر ہاؤسز، Spark جابز، APIs، کنٹینرز)۔ آپ ورک فلوز کو DAGs (ڈائریکٹڈ ایسائیکلک گراف) کے طور پر بیان کرتے ہیں، جو کہ صرف Python فائلیں ہیں جو tasks اور ان کے انحصار کو انکوڈ کرتی ہیں۔ ایئرفلو پھر آپ کے شیڈول، پیرامیٹرز اور ماحول کے مطابق ان tasks کو انجام دیتا ہے۔
- DAG: ورک فلو کی تعریف (انحصار کے ساتھ tasks کا گراف)۔
- Task: کام کی ایک اکائی (Python فنکشن، SQL پر عمل درآمد، Bash کمانڈ، بیرونی جاب ٹرگر وغیرہ)۔
- Operator: ایک قسم کے task کے لیے ایک ٹیمپلیٹ (مثال کے طور پر،
PythonOperator، BashOperator، KubernetesPodOperator)۔
- Scheduler: فیصلہ کرتا ہے کہ کیا چلانا ہے اور کب۔
- Executor: tasks چلاتا ہے (مقامی طور پر، Celery، Kubernetes وغیرہ کے ساتھ)۔
- UI: رنز، لاگز، دوبارہ کوششوں اور lineage کے لیے آپ کا کنٹرول سینٹر۔
ایئرفلو انسٹال کرنے کے بعد آفیشل ٹیوٹوریلز سے شروعات کریں؛ وہ آپ کو تیزی سے بڑی تصویر دکھاتے ہیں۔
ایئرفلو کو صحیح طریقے سے انسٹال اور چلانا
ایئرفلو لچکدار ہے۔ وہ راستہ منتخب کریں جو آپ کے مرحلے سے میل کھاتا ہے:
- پروجیکٹ کے ذریعہ فراہم کردہ فوری آغاز Docker Compose استعمال کریں۔ یہ ویب سرور، شیڈیولر، ڈیٹا بیس اور بہت کچھ مناسب ڈیفالٹس کے ساتھ شروع کرتا ہے۔
- DAGs پر سیکھنے اور دہرانے کے لیے بہت اچھا ہے۔
- ایک منظم Postgres کے ساتھ Celery Executor یا Kubernetes Executor۔
- لاگز کو S3/GCS میں اسٹور کریں اور انحصار کو اپنی تصویر یا
requirements.txt کے ساتھ پیک کریں۔
- لچک کے لیے Kubernetes Executor یا آٹوسکیلنگ ورکرز کے ساتھ Celery Executor۔
- بیرونی راز (Vault)، مضبوط مشاہدہ (لاگز + میٹرکس)، اور اپ گریڈ کے لیے بلیو/گرین ڈیپلائس۔
ٹپ: پروموشن سے پہلے اپنے ایئرفلو کوڈبیس کو ورژن کنٹرول، کنٹینرائزڈ اور ٹیسٹ کریں۔ "بہترین طریقے" صفحہ پروڈکشن کے لیے تیار پیٹرنز کا خاکہ پیش کرتا ہے۔
بنیادی تصورات جو آپ روزانہ استعمال کریں گے
DAGs: کوڈ کے طور پر آپ کا ورک فلو
ایک DAG ایک Python فائل ہے جو اس کی وضاحت کرتی ہے:
- DAG میٹا ڈیٹا: id، شیڈول، آغاز کی تاریخ، ٹیگز۔
- ڈیفالٹ آرگز: دوبارہ کوششیں، مالکان، SLAs۔
ایک DAG کو "کیا" اور "کب" کے طور پر سوچیں، اور tasks کو "کیسے" کے طور پر۔
Tasks اور Operators
Operators عام tasks کے لیے پہلے سے تیار کردہ چیزیں ہیں۔ مثالیں:
- Python کوڈ کے لیے PythonOperator / TaskFlow
@task
- شیل کمانڈز کے لیے BashOperator
- APIs کے لیے SimpleHttpOperator
- کنٹینرائزڈ جابز کے لیے KubernetesPodOperator
- ویئر ہاؤس کے کام کے لیے SQL فراہم کنندگان (مثال کے طور پر، Snowflake، BigQuery، Postgres)
TaskFlow API: جدید، Pythonic طریقہ
TaskFlow API آپ کو @task کے ساتھ Python فنکشن کے طور پر tasks لکھنے، XCom کے ذریعے گزرنے والی اقدار کو واپس کرنے اور انہیں صاف ستھرا کمپوز کرنے کی اجازت دیتا ہے۔ یہ بوائلر پلیٹ کو کم کرتا ہے اور پڑھنے کی اہلیت کو بہتر بناتا ہے—انتہائی سفارش کی جاتی ہے۔
آپ کا پہلا ایئرفلو DAG (TaskFlow ایڈیشن)
ذیل میں ایک کم سے کم ETL طرز کی مثال ہے جو اہم خیالات کو واضح کرتی ہے: شیڈولنگ، TaskFlow، انحصار، اور XCom ڈیٹا پاسنگ۔
from datetime import datetime
from airflow import DAG
from airflow.decorators import task
with DAG(
dag_id="weather_etl_example",
start_date=datetime(2024, 1, 1),
schedule="0 * * * *", # hourly
catchup=False,
tags=.
شیڈولنگ، کیچ اپ، اور بیک فلز
schedule: Cron یا presets (@daily، @hourly)۔
start_date + catchup: اگر catchup=True ہے، تو ایئرفلو آغاز کی تاریخ سے رنز کو بیک فل کرے گا۔ اسٹریمنگ طرز کی پائپ لائنز کے لیے، catchup=False سیٹ کریں۔
- دستی بیک فلز: تاریخی وقفوں کو دوبارہ چلانے کے لیے UI یا CLI استعمال کریں۔
عملی اصول: متعین بیچ جابز کے لیے کیچ اپ کو فعال کریں؛ ریئل ٹائم یا API ریٹ محدود پائپ لائنز کے لیے غیر فعال کریں۔
Tasks کے درمیان ڈیٹا کو محفوظ طریقے سے منتقل کرنا (XCom)
- چھوٹی اشیاء: TaskFlow کے ساتھ واپسی کی اقدار ٹھیک ہیں۔
- بڑے پے لوڈز: XCom میں ایک کلید کے ساتھ آبجیکٹ اسٹوریج (S3/GCS) میں اسٹور کریں۔
- XCom میں حساس ڈیٹا سے گریز کریں؛ راز کے بیک اینڈز (مثال کے طور پر، Vault) اور ماحولیاتی متغیرات استعمال کریں۔
ڈائنامک ٹاسک میپنگ اور فین آؤٹ ورک لوڈز
ایئرفلو ان پٹس کی بنیاد پر رن ٹائم پر متحرک طور پر tasks تیار کر سکتا ہے—تقسیم شدہ ڈیٹا سیٹس یا ملٹی ٹیننٹ جابز کے لیے مثالی۔
- DAGs کو متعین اور آئیڈمپوٹینٹ رکھیں۔
- آرکیسٹریشن (ایئرفلو) کو کمپیوٹیشن (Spark, dbt, warehouses) سے الگ کریں۔
- وضاحت اور XCom حفظان صحت کے لیے TaskFlow API استعمال کریں۔
- DAGs کو پیرامیٹرائز کریں؛ متغیرات کو سمجھداری سے استعمال کریں۔
- اپنی پائپ لائنز کی نگرانی، الرٹ اور دستاویز کریں۔
ڈیٹا ویئر ہاؤسز اور ایم ایل کے ساتھ کیسے کام کریں
- ڈیٹا ویئر ہاؤسز: SQL جابز کے لیے فراہم کنندہ آپریٹرز (مثال کے طور پر، SnowflakeOperator، BigQueryInsertJobOperator) استعمال کریں۔ SQL کو فائلوں یا ورژن والے ماڈیولز میں اسٹور کریں۔
- dbt: Bash/KubernetesPodOperator یا فراہم کنندگان میں وقف dbt آپریٹرز کے ذریعے dbt کو ٹرگر کریں۔
- ML: فیچر جنریشن، ٹریننگ، اور بیچ انفرنس کو الگ الگ tasks کے طور پر ترتیب دیں؛ اسٹوریج میں آرٹیکٹس کو کیش کریں اور میٹرکس کو لاگ کریں۔
اعلی درجے کی شیڈولنگ: ڈیٹا سیٹس اور کراس-DAG انحصار
- ڈیٹا سیٹس ایک DAG کو ایک منطقی ڈیٹا سیٹ تیار کرنے دیتے ہیں جو اپ ڈیٹ ہونے پر دوسرے DAG کو ٹرگر کرتا ہے—ایڈہاک ٹرگرز سے زیادہ صاف۔
- وراثت کے پیٹرنز کے لیے، ExternalTaskSensor کام کرتا ہے، لیکن ڈیٹا سیٹس زیادہ اعلانیہ ہیں۔
سیکیورٹی اور تعمیل
- UI میں کردار پر مبنی رسائی کنٹرول (RBAC) استعمال کریں۔
- ہر ٹیم یا اعتماد کی حد کے لیے ماحول کو الگ کریں۔
- لاگز اور کنکشن کی تبدیلی کی تاریخ کے ذریعے آڈٹ ٹریلز رکھیں۔
اپ گریڈ اور ورژننگ
- پروڈکشن جیسے ورک لوڈز کے ساتھ اسٹیجنگ میں اپ گریڈ کی جانچ کریں۔
- فراہم کنندگان کو جان بوجھ کر پن اور اپ گریڈ کریں۔
- ایگزیکیوٹر سے متعلقہ تبدیلیوں اور متروک ہونے کے لیے ریلیز نوٹس پڑھیں۔
آپ کے پہلے پروڈکشن DAG کے لیے ایک فوری چیک لسٹ
- واضح ملکیت (
owner ٹیگ) اور الرٹس کنفیگرڈ ہیں۔
retries مناسب بیک آف کے ساتھ سیٹ کریں۔
- آئیڈمپوٹینٹ tasks اور واضح انحصار۔
- چھوٹے XCom پے لوڈز؛ اسٹوریج میں بڑا ڈیٹا۔
- لاگز پائیدار اسٹوریج میں بھیجے گئے؛ میٹرکس برآمد کیے گئے۔
- رول آؤٹ پلان (کینری یا بلیو/گرین) اور رول بیک کے اقدامات۔
مثال: ایک حقیقت پسندانہ ویئر ہاؤس لوڈ DAG
یہ پیٹرن روزانہ فائلوں کو نکالتا ہے، ان کی توثیق کرتا ہے، اور انہیں ایک ویئر ہاؤس ٹیبل میں لوڈ کرتا ہے، ہر تقسیم کے لیے متحرک میپنگ اور ڈیفریبل سینسرز کے ساتھ۔
from datetime import datetime
from airflow import DAG
from airflow.decorators import task
from airflow.sensors.filesystem import FileSensor
- پروڈکشن میں فروغ دینے سے پہلے بہترین طریقوں کا جائزہ لیں۔
- اپنے سسٹمز (ویئر ہاؤسز، کلاؤڈز، ایم ایل ٹولز) کے لیے فراہم کنندہ دستاویزات کو دریافت کریں۔
ویسے: ایک AI سائڈ کِک کے ساتھ تصنیف کو تیز کریں
قابل ذکر بات: اگر آپ بہت سے DAGs کا مسودہ تیار کرتے ہیں، تو ایک AI اسسٹنٹ جو کوڈ کو سمجھتا ہے، بوائلر پلیٹ کو تیز کر سکتا ہے، TaskFlow سٹبس تیار کر سکتا ہے، اور یہاں تک کہ انحصار کی اصلاحات بھی تجویز کر سکتا ہے۔ اگر آپ کو اپنے ایڈیٹر اور براؤزر کے ساتھ ایک ہلکا پھلکا مددگار چاہیے، تو Sider.AI ترقی کے دوران فوری کوڈ دوبارہ لکھنے اور وضاحتوں کے لیے کارآمد ہو سکتا ہے۔ اہم نکات
- ایئرفلو کو آرکیسٹریٹ کرنے کے لیے استعمال کریں، کمپیوٹ کرنے کے لیے نہیں۔
- صاف، قابل جانچ DAGs کے لیے TaskFlow API کو ترجیح دیں۔
- ڈیٹا کو XCom سے باہر رکھیں؛ اس کے بجائے حوالہ جات پاس کریں۔
- سلاٹس کو بچانے کے لیے ڈیفریبل سینسرز/آپریٹرز استعمال کریں۔
- کنٹینرائز کریں، ٹیسٹ کریں، اور ماحول کے ذریعے فروغ دیں۔
- آفیشل ٹیوٹوریلز اور بہترین طریقوں پر اپنے شمالی ستارے کے طور پر انحصار کریں۔
عمومی سوالات
Q1: ایئرفلو کو استعمال کرنے کا طریقہ سیکھنے کا سب سے آسان طریقہ کیا ہے؟
DAGs، tasks، شیڈولنگ، اور UI کو سمجھنے کے لیے آفیشل ٹیوٹوریل سے شروعات کریں۔ پھر ایک چھوٹی TaskFlow پر مبنی پائپ لائن بنائیں اور پروڈکشن کے لیے تیاری کے لیے بہترین طریقوں کی گائیڈ کے ساتھ دہرائیں۔
Q2: کیا مجھے ایئرفلو میں TaskFlow API یا کلاسک آپریٹرز استعمال کرنے چاہئیں؟
زیادہ تر Pythonic پائپ لائنز کے لیے TaskFlow API استعمال کریں کیونکہ یہ صاف ستھرا ہے اور XCom واپسی کو قدرتی طور پر ہینڈل کرتا ہے۔ کلاسک آپریٹرز اب بھی غیر Python tasks جیسے Bash، SQL، یا کنٹینر جابز کے لیے بہت اچھے ہیں۔
Q3: میں ایئرفلو tasks کے درمیان بڑا ڈیٹا کیسے منتقل کروں؟
XCom میں بڑے پے لوڈز ڈالنے سے گریز کریں۔ ڈیٹا کو S3/GCS یا ڈیٹا بیس میں اسٹور کریں اور tasks کو تیز اور قابل اعتماد رکھنے کے لیے صرف حوالہ جات یا URIs کو XCom کے ذریعے پاس کریں۔
Q4: مجھے پروڈکشن میں ایئرفلو کے لیے کون سا ایگزیکیوٹر منتخب کرنا چاہیے؟
لچک اور تنہائی کے لیے، Kubernetes Executor ایک مضبوط ڈیفالٹ ہے۔ آسان سیٹ اپ کے لیے، Celery Executor اچھی طرح سے کام کرتا ہے—بس آٹوسکیلنگ، مضبوط لاگنگ، اور بیرونی راز کو یقینی بنائیں۔
Q5: میں متعدد ایئرفلو DAGs میں انحصار کو کیسے ہینڈل کروں؟
اعلانیہ کراس-DAG ٹرگرز کے لیے ڈیٹا سیٹس استعمال کریں جب ایک پائپ لائن دوسرے کے لیے ڈیٹا تیار کرتی ہے۔ متبادل طور پر، ExternalTaskSensor رنز کو مربوط کر سکتا ہے، لیکن ڈیٹا سے چلنے والی آرکیسٹریشن کے لیے ڈیٹا سیٹس زیادہ صاف ہیں۔
