هل حاولت يومًا أن تجعل جدول بيانات يقوم بعمل حزام ناقل في مصنع؟ هذا ما كنت أفعله، قبل بضعة صيف، محاولًا تجميع الملايين من ملفات السجل باستخدام جهاز كمبيوتر محمول يئن مثل كلب الشيواوا في عاصفة رعدية. عندها قال لي شخص ما، "هل جربت Databricks؟" هنا يأتي صوت الخدش على التسجيل.
إذا كانت كلمات "Spark" و "clusters" و "Delta Lake" تجعلك ترغب في الركض نحو التلال، فإليك الأخبار السارة: استخدام Databricks لا يجب أن يكون مثل قيادة صاروخ فضائي. فكر فيه على أنه مطبخ مشترك لأصحاب البيانات—يمكن للطهاة (أنت وفريقك) إحضار المكونات (البيانات)، واستخدام المواقد (مجموعات الحوسبة)، واتباع الوصفات (دفاتر الملاحظات) لطهي وجبات (تحليلات ولوحات معلومات ونماذج تعلم آلي) تغذي الأعمال بالفعل.
في هذا الدليل، سنقوم بإعداد مساحة العمل الخاصة بك، وتشغيل المجموعة الأولى، وكتابة التعليمات البرمجية في دفتر ملاحظات، والاستعلام باستخدام SQL، وحفظ النتائج في جداول Delta، وجدولة المهام، وتجنب المآزق الكلاسيكية: الفواتير المفاجئة والليالي الغامضة التي تتساءل فيها "لماذا فشلت مهمتي؟" سأحافظ على الأمور إنسانية وعملية وصادقة—كما لو كنا جارين نتبادل النصائح فوق السياج، إلا أن السياج مصنوع من ملفات Parquet.
ما هي Databricks حقًا؟
تصور Databricks على أنها استوديو متكامل للبيانات الضخمة والذكاء الاصطناعي. إنها تغلف Apache Spark بواجهة سهلة الاستخدام، وتضيف دفاتر ملاحظات تعاونية، وتدير البيانات باستخدام Delta Lake (تنسيق جدول فائق القدرات)، وتمنحك أدوات حوكمة حتى لا تترك صنبور البيانات مفتوحًا طوال الليل عن طريق الخطأ. يمكنك كتابة Python أو SQL أو Scala أو R؛ المزج والمطابقة؛ ودعوة أعضاء الفريق للعمل في دفاتر الملاحظات نفسها دون مزاحمة بعضهم البعض.
نموذجك الذهني
- مساحة العمل: المقر الرئيسي لمشروعك—المستخدمون ودفاتر الملاحظات والمستودعات والوظائف.
- الحوسبة: المجموعات (لأجهزة الكمبيوتر المحمولة والوظائف) ومخازن SQL (لاستعلامات BI/SQL).
- التخزين: بياناتك السحابية ({S3/ADLS/GCS}). تضيف Databricks فهرسًا سهل الاستخدام مع جداول يمكنك الاستعلام عنها.
- الحوكمة: عناصر التحكم في الوصول و Unity Catalog حتى يرى الأشخاص المناسبون البيانات الصحيحة.
- خطوط الأنابيب: جداول Delta Live Tables لهندسة البيانات؛ وظائف لجدولة الأشياء؛ MLflow للتجارب والنماذج.
الخطوة 1: إنشاء مساحة عمل أو الانضمام إليها
إذا كانت شركتك لديها Databricks بالفعل، فستتلقى دعوة. وإلا، فقم بالتسجيل للحصول على نسخة تجريبية (سحابة من اختيارك) وأنشئ مساحة عمل. ستهبط في واجهة نظيفة ذات شريط جانبي أيسر. لا داعي للذعر من الخيارات—سنبدأ بثلاثة فقط: مساحة العمل والحوسبة والبيانات.
الخطوة 2: قم بتشغيل مجموعتك الأولى ("المحرك" الموجود أسفل الغطاء)
المجموعة عبارة عن مجموعة من الأجهزة السحابية التي تبدأها Databricks نيابةً عنك.
- انقر فوق Compute → New Cluster.
- اختر وضع المجموعة (ابدأ بمستخدم واحد أو مشترك للاختبار).
- اختر نوع مثيل صغير للحفاظ على التكاليف معقولة.
- قم بتشغيل الإنهاء التلقائي (على سبيل المثال، 15-30 دقيقة). هذا هو مؤقت "إطفاء الأنوار" للسحابة.
- إنشاء. انتظر دقيقة أو دقيقتين؛ سترى علامة خضراء "قيد التشغيل".
نصيحة Pogue: قم بتسمية مجموعتك باسم واضح ("dev-pogue-15min-autoterm"). سيشكرك مستقبلك.
الخطوة 3: افتح دفتر ملاحظات ("منضدة العمل" الخاصة بك)
- مساحة العمل → جديد → دفتر ملاحظات.
- اختر لغة. Python هي نقطة انطلاق مريحة؛ لا يزال بإمكانك تشغيل SQL باستخدام الأوامر السحرية.
- قم بإرفاق دفتر الملاحظات بمجموعتك قيد التشغيل (القائمة المنسدلة في الأعلى).
جرب الخليّة الأولى:
print("Hello, Databricks!")
ثم جرب إعلان Spark:
spark.range(5).show
تهانينا، لقد أطلقت للتو محرك حوسبة موزعة للعد إلى خمسة. أنت رسميًا ساحر بيانات.
الخطوة 4: جلب البيانات ("رف المكونات")
يمكنك استيراد الملفات، والاتصال بتخزين الكائنات، أو الاستعلام عن الجداول الموجودة.
- انقر فوق البيانات في الشريط الجانبي. سترى الكتالوجات والمخططات (مجلدات للجداول) وخيارات لإضافة البيانات.
- إذا كان لديك CSV، فقم بتحميله لإجراء اختبار سريع. يمكن لـ Databricks استنتاج المخطط.
استخدام Python لقراءة CSV في التخزين السحابي:
df = spark.read.option("header", True).csv("/mnt/my-bucket/sales.csv")
df.printSchema
df.limit(10).display
وظيفة العرض هذه هي سحر Databricks: سهولة الفرز والتصفية والرسم البياني في لمح البصر.
الخطوة 5: احفظ نتائجك كجداول Delta (لماذا Delta؟)
تشبه جداول Delta جداول البيانات ذات القوى الخارقة: فهي تحافظ على ضمانات المعاملات ("ACID")، وتتبع الإصدارات، وتجعل التحديثات/الإدخالات/عمليات الدمج سليمة.
df.write.mode("overwrite").format("delta").saveAsTable("analytics.sales_clean")
يمكنك الآن الاستعلام باستخدام SQL:
-- قم بتبديل الخلية إلى SQL باستخدام %%sql
%%sql
SELECT product, SUM(amount) AS total
FROM analytics.sales_clean
GROUP BY product
ORDER BY total DESC
هل تريد بيانات مدققة وقابلة للإصدار؟ يمكنك السفر عبر الزمن:
%%sql
SELECT * FROM analytics.sales_clean VERSION AS OF 2
الخطوة 6: كوّن صداقات مع مخازن SQL (لموظفي BI)
إذا كنت تقوم في الغالب بعمل لوحات معلومات وأسئلة تجارية، فقم بتشغيل SQL Warehouse (Compute → SQL Warehouses). إنه يشبه محركًا أخف وزنًا ومضبوطًا لـ SQL.
- قم بتوصيل أداة BI الخاصة بك ({Power BI} أو {Tableau} أو {Databricks SQL Dashboard}).
- إنشاء لوحة معلومات: تصورات وفلاتر وجداول تحديث.
الخطوة 7: خطوط الأنابيب مع جداول Delta Live Tables (من "يدوي" إلى "تلقائي")
إذا كانت لديك تحويلات قابلة للتكرار—"تنظيف المبيعات الأولية، وربط بيانات تعريف المنتج، والتجميع حسب الأسبوع"—فإن Delta Live Tables (DLT) تحول ذلك إلى خط أنابيب مُدار مع فحوصات وأصل.
مثال SQL DLT صغير:
CREATE OR REFRESH LIVE TABLE sales_clean AS
SELECT * FROM cloud_files('/mnt/data/sales_raw', 'csv');
CREATE OR REFRESH LIVE TABLE weekly_sales AS
SELECT product, weekofyear(date) AS week,
SUM(amount) AS weekly_total
FROM LIVE.sales_clean
GROUP BY product, week;
- تتعامل DLT مع المراقبة وإعادة المحاولات وقواعد جودة البيانات.
- أضف التوقعات (مثل "المبلغ >= 0") بحيث تفشل البيانات السيئة بصوت عالٍ بدلاً من تخريب ربعك بهدوء.
الخطوة 8: جدولتها باستخدام الوظائف (لأنك تحب النوم)
- حدد دفتر الملاحظات الخاص بك، وقم بتعيين جدول زمني (على سبيل المثال، الساعة 2 صباحًا يوميًا)، واختر مجموعة وظائف صغيرة.
- أضف تنبيهات البريد الإلكتروني أو Slack لحالات الفشل.
مكافأة: قم بتحديد معلمات دفاتر الملاحظات بحيث يتم تشغيل نفس التعليمات البرمجية لـ dev/test/prod بمدخلات مختلفة.
الخطوة 9: الأذونات والحوكمة بدون دموع
التحكم في الوصول إلى البيانات مهم. استخدم أذونات الكتالوج المضمنة لضمان وجود القراء والكتاب والمالكين المناسبين. إذا كانت مؤسستك تستخدم متجر بيانات تعريف مركزي، فستصادف Unity Catalog: فهو يوحد الأسماء مثل {catalog.schema.table} ويمنحك عمليات تدقيق أفضل وعناصر تحكم دقيقة.
نصيحة Pogue: ابدأ ببساطة—كتالوج واحد للتحليلات، وواحد للمساحة التجريبية—وسمِّ الأشياء بوضوح. سيشتري لك المحللون المستقبليون القهوة.
الخطوة 10: التحكم في التكاليف (قسم "لا تحصل على فاتورة مفاجئة")
- الافتراضي هو المثيلات الصغيرة عند الاستكشاف.
- قم دائمًا بتمكين الإنهاء التلقائي في مجموعات التطوير.
- فضل مجموعات الوظائف للمهام المجدولة (التشغيل والإيقاف).
- التخزين المؤقت بذكاء: لا تحتفظ بـ DataFrames ضخمة ما لم تكن بحاجة إلى إعادة استخدامها.
- راقب مقاييس التكلفة الخاصة بواجهة المستخدم وقم بتعيين الميزانيات/التنبيهات في موفر السحابة الخاص بك.
يوم في الحياة: عرض توضيحي سريع
لنفترض أن رئيسك يسأل: "ما هي خطوط الإنتاج التي نمت بأسرع ما يمكن في هذا الربع؟" إليك تدفق Databricks:
- إنشاء دفتر ملاحظات، وإرفاق مجموعة تطوير.
- استيعاب بيانات تعريف المبيعات والمنتجات (CSV في التخزين السحابي).
- تنظيف: فرض المخططات وإسقاط القيم الخالية وتصحيح تنسيقات التاريخ.
- اكتب بيانات نظيفة إلى Delta.
- SQL لحساب النمو ربع السنوي.
- تصور في دفتر الملاحظات؛ ثم انشر لوحة معلومات للرئيس.
- قم بتضمين دفتر الملاحظات في وظيفة لتحديثه كل صباح.
ركن استكشاف الأخطاء وإصلاحها (لأنه يحدث)
- المجموعة لن تبدأ: تحقق من الحصة/نوع المثيل الخاص بك؛ جرب جهازًا افتراضيًا أصغر؛ تأكد من الأذونات.
- لن يتم قراءة البيانات: تحقق من المسار وبيانات الاعتماد؛ جرب عينة صغيرة؛ فحص المخطط المستنتج.
- الوظيفة تستمر في الفشل: أضف تسجيلًا (عبارات الطباعة والعرض) وخفض التوازي وتحقق من صحة المدخلات.
- تبدو النتائج "خارجة": المناطق الزمنية! إنهم متسترون. إرسال الطوابع الزمنية وتعيين منطقة زمنية افتراضية وتوثيق الافتراضات.
التعاون: العمل كفرقة موسيقية، وليس كعمل منفرد
- استخدم Repos لمزامنة دفاتر الملاحظات مع Git. قم بالالتزام مبكرًا، وقم بالالتزام بشكل متكرر.
- علق مباشرة في خلايا دفتر الملاحظات. احتفظ بخلية "اقرأني أولاً" في الأعلى مع التعليمات.
- قم بإنشاء دفاتر ملاحظات صغيرة وقابلة للتركيب (الاستيعاب والتحويل والتحليل) حتى يتمكن زملاء الفريق من القفز دون استكشاف الكهوف.
Python؟ SQL؟ كلاهما.
يمكنك مزج اللغات في دفتر ملاحظات واحد. على سبيل المثال، قم بإنشاء نموذج لمنطقك في SQL (تكرار سريع)، ثم قم بالتبديل إلى Python للمكتبات المتخصصة (التنبؤ ومعالجة اللغة الطبيعية). استخدم UDFs باعتدال—وظائف Spark الأصلية أسرع وأكثر ملاءمة للتوسع.
الأداء: الروافع الثلاث
- الأقسام: تخطي كومة القش، واقرأ الإبر فقط. قسّم جداول Delta حسب الأعمدة التي يتم تصفيتها بشكل متكرر (التاريخ والمنطقة).
- أحجام الملفات: الملفات الصغيرة تشبه البريق—في كل مكان ومزعجة. استخدم الكتابات المحسنة/التحسين التلقائي لدمج الملفات الصغيرة في ملفات مكتنزة وفعالة.
- التخزين المؤقت وعمليات الربط البث: قم بتخزين DataFrames المعاد استخدامها مؤقتًا؛ بث الجدول الصغير في عمليات الربط الكبيرة لتجنب عمليات الخلط.
أساسيات الأمان التي سترغب فيها في اليوم الثاني
- قم بتخزين الأسرار في نطاق سري مُدار؛ لا تقم أبدًا بتشفير المفاتيح.
- قم بتأمين جداول الإنتاج بأقل امتياز.
- استخدم سجلات التدقيق لمعرفة من قام بتغيير ماذا ومتى.
من العبث إلى الإنتاج: مسار واقعي
- الأسبوع الأول: استكشف باستخدام دفاتر الملاحظات ومجموعة صغيرة. احفظ جداول Delta الأولى. شارك المكاسب.
- الأسبوع الثاني: قم ببناء خط أنابيب DLT لتحويلاتك المتكررة. أضف فحوصات جودة البيانات.
- الأسبوع الثالث: قم بتضمين دفاتر الملاحظات في وظائف، وأضف التنبيهات، وقم بتوصيل لوحات المعلومات بـ SQL Warehouse.
- الأسبوع الرابع: انقل الأسرار إلى قبو، ورتب الأذونات، وقم بتعيين اصطلاحات التسمية، ووثق كل شيء.
الخرافات الشائعة، تم تفنيدها بلطف
- "Databricks مخصصة فقط لخبراء Spark." ليس بعد الآن. تعني SQL Warehouses ومساعدو واجهة المستخدم أنه يمكن للمحللين أن يزدهروا دون كتابة سطر واحد من Scala.
- "سيكون الأمر مكلفًا." يمكن أن يكون كذلك—إذا تركت أضواء الاستاد مضاءة طوال عطلة نهاية الأسبوع. مع الإنهاء التلقائي ومجموعات الوظائف الصغيرة، يمكنك الحفاظ على التكاليف متحضرة.
- "التحكم في الإصدارات يمثل صداعًا." يجعل السفر عبر الزمن وسجل الجدول في Delta عمليات التراجع والتدقيق مملة بشكل منعش.
كلمة سريعة حول المساعدين المفيدين
إذا وجدت نفسك عالقًا في كتابة تعليمات برمجية Spark قياسية، أو شرح دفتر الملاحظات الخاص بك لـ… نفسك، أو تحويل نتيجة تقريبية إلى ملخص أنيق، فيمكن للمساعد الذكي أن يوفر ساعات. يمكن لأدوات مثل Sider.AI الجلوس في متصفحك كمربع دردشة ودود، ومساعدتك في صياغة خلية PySpark للمبتدئين، وإعادة بناء ضم غير متقن، أو تحويل إخراج دفتر الملاحظات الخاص بك إلى موجز قابل للقراءة لرئيسك. إليك الحيلة: اطرح أسئلة محددة ومحددة ("اكتب دمج PySpark في جدول Delta بمنطق الإدراج/التحديث لهذا المخطط…") والصق عينة صغيرة وممثلة من المخطط الخاص بك بحيث يكون الاقتراح في مكانه تمامًا. إذا حاولت أن تجعله يخمن كل شيء، فسينتهي بكما الأمر بالاستسلام. أسبوعك الأول: دليل مصغر
اليوم الأول: أنشئ تسجيل دخول إلى مساحة العمل. ابدأ مجموعة تطوير صغيرة مع إنهاء تلقائي.
اليوم الثاني: استورد CSV صغير. استكشف مع العرض. احفظ جدول Delta.
اليوم الثالث: قم ببناء خط أنابيب دفتر ملاحظات بسيط: أولي → نظيف → مجمع. أضف تعليقات.
اليوم الرابع: قم بالتبديل إلى SQL للتحقق من صحة النتائج. قم ببناء لوحة معلومات صغيرة.
اليوم الخامس: قم بإنشاء وظيفة لتحديثها يوميًا. أوقف تشغيل المجموعة، واذهب إلى المنزل في الوقت المحدد.
ورقة الغش: الأوامر التي ستستخدمها بالفعل
- قراءة CSV/Parquet: spark.read.option("header", True).csv(path) / spark.read.parquet(path)
- كتابة جدول Delta: df.write.format("delta").mode("append").saveAsTable("catalog.schema.table")
- خلية SQL: %%sql متبوعة بالاستعلام الخاص بك
- نمط الدمج (الإدراج/التحديث) في SQL:
MERGE INTO target t
USING source s
ON t.id = s.id
WHEN MATCHED THEN UPDATE SET *
WHEN NOT MATCHED THEN INSERT *;
- Autoloader (الاستيعاب التدريجي) في Python:
df = (spark.readStream
.format("cloudFiles")
.option("cloudFiles.format", "json")
.load("/mnt/raw/events"))
df.writeStream.format("delta").option("checkpointLocation","/mnt/chk").start("/mnt/delta/events")
متى يتم التبديل من دفاتر الملاحظات إلى خطوط الأنابيب
- إذا كنت تقوم بتشغيل نفس دفتر الملاحظات يوميًا، فقم بنقله إلى وظيفة.
- إذا كنت تربط ثلاثة دفاتر ملاحظات أو أكثر، ففكر في DLT—فهو يبسط التبعيات ويضيف قواعد جودة البيانات.
- إذا كانت فرق متعددة تعتمد على المخرجات، فقم بالترقية إلى كتالوج مُدار مع اتفاقيات مستوى خدمة واضحة.
شيء أخير (قانون Pogue للجاذبية البيانات)
البيانات لها جاذبية. من الصعب تحريكها ومكلفة للغاية. تعمل Databricks بشكل أفضل عندما تجلب الحوسبة إلى البيانات، وتحافظ على جداولك مرتبة (Delta)، وتجعل الأجزاء المملة تلقائية. ابدأ صغيرًا، وقم بتسمية كل شيء، وقم بتعيين مؤقتات الإنهاء التلقائي هذه كما لو كانت فاتورة السحابة الخاصة بك تعتمد عليها—لأنها كذلك.
الوجبات الرئيسية
- ابدأ بمجموعة صغيرة وإنهاء تلقائي.
- استخدم دفاتر الملاحظات للاستكشاف؛ احفظ النتائج النظيفة كجداول Delta.
- للتحويلات القابلة للتكرار، استخدم DLT وجدولة مع الوظائف.
- شارك الرؤى عبر SQL Warehouses ولوحات المعلومات.
- قم بتأمين الأذونات والأسرار مبكرًا؛ وثق أثناء تقدمك.
- اعتمد على مساعد عندما تحتاج إلى دفعة—ولكن حافظ على مطالباتك محددة.
إذا كان بإمكانك العد إلى خمسة باستخدام {spark.range(5).show}، فيمكنك إنشاء شيء مفيد في Databricks. وبمجرد تشغيل وظيفتك الليلية دون أن تتصل بك في الساعة 2 صباحًا، ستعرف أنك عبرت إلى تلك المنطقة النادرة والجميلة المعروفة باسم "البيانات التي تتصرف".
أسئلة وأجوبة
س1: ما هي أسرع طريقة لبدء استخدام Databricks كمبتدئ؟
قم بإنشاء مجموعة صغيرة ذات إنهاء تلقائي، وافتح دفتر ملاحظات، وقم بتحميل CSV صغير مع عرض للاستكشاف. احفظ نتائجك النظيفة كجدول Delta وجرب استعلام SQL بسيط—وهذا يمنحك مكاسب حقيقية في اليوم الأول دون أن تضيع في الميزات المتقدمة.
س2: هل يجب أن أستخدم دفاتر الملاحظات أو Delta Live Tables لخط الأنابيب الخاص بي؟
ابدأ بدفاتر الملاحظات أثناء اكتشافك للأشياء؛ إنها مثالية للاستكشاف والمكاسب السريعة. عندما يستقر منطقك ويحتاج إلى التشغيل بشكل موثوق، قم بالتبديل إلى Delta Live Tables للتبعيات المُدارة وفحوصات جودة البيانات والمراقبة الأسهل.
س3: كيف يمكنني إبقاء تكاليف Databricks تحت السيطرة؟
استخدم مثيلات صغيرة للتطوير، وقم بتمكين الإنهاء التلقائي، وفضل مجموعات الوظائف للتشغيلات المجدولة. تجنب الاحتفاظ بـ DataFrames العملاقة ما لم يكن ذلك ضروريًا، وراقب مقاييس التكلفة والميزانيات السحابية حتى لا يعمل أي شيء طوال عطلة نهاية الأسبوع.
س4: هل يمكن لغير المبرمجين استخدام Databricks بفعالية؟
نعم—SQL Warehouses بالإضافة إلى لوحات المعلومات تجعل Databricks صديقة للمحللين. يمكنك كتابة SQL عادي وتصور النتائج ومشاركة الرؤى دون لمس PySpark، ثم إحضار المهندسين فقط عندما تحتاج إلى تحويلات أثقل.
س5: ما هي ميزة حفظ البيانات كجداول Delta؟
تمنحك جداول Delta معاملات ACID وسجل الإصدارات (السفر عبر الزمن) وأداء أفضل. وهذا يعني تحديثات أكثر أمانًا وتراجعات أسهل عندما يحدث خطأ ما واستعلامات أسرع لنفس البيانات.
