مدير هندسة البيانات (TPA)

الغرض من الدور

المسؤوليات الرئيسية

1- استيعاب بيانات المؤسسة وهندسة البيانات

• بناء تعيينات وتدفقات مهام قابلة لإعادة الاستخدام ومُعاملة (parameterized) في Informatica IDMC لتوحيد استيعاب البيانات.
• تنفيذ التقاط تغييرات البيانات (CDC)، والتحميلات المتكررة الآمنة (idempotent loads)، وتطور المخططات (schema evolution)، وبوابات جودة البيانات.
• تحسين تحميلات BigQuery باستخدام التقسيم (partitioning) والتجميع (clustering) والنهج المناسب بين التحميل والتدفق (load-versus-stream).
• إعداد التحكم في الإصدارات وخطوط أنابيب CI/CD لأصول هندسة البيانات.

2- تصميم تعيين البيانات وتحويلها

• تحليل أنظمة المصدر وتحديد التعيينات على مستوى الحقول وقواعد التحويل.
• تحديد منطق الأعمال، بما في ذلك الربط (joins) والبحث (lookups) والاشتقاقات (derivations).
• تحديد قواعد جودة البيانات ومعالجة الاستثناءات ومعايير الرفض.

3- التنسيق والأتمتة وهندسة الموثوقية

• جعل تدفقات المهام مُعاملة (parameterized) وتهيئة الجداول والتبعيات.
• تنفيذ إعادة المحاولات (retries) والتراجع التدريجي (backoff) ونقاط التحقق (checkpointing) لضمان معالجة موثوقة.
• دمج المراقبة والتنبيهات عبر وحدة تحكم العمليات (Ops console) وChatOps.

4- إدارة أدوار البيانات والخصوصية

• تحديد أدوار IAM وحسابات الخدمة بأقل صلاحيات ممكنة للوصول إلى البيانات.
• تطبيق الأمان على مستوى مجموعات البيانات والجداول والصفوف والأعمدة وإخفاء البيانات (data masking).
• تمكين تسجيل التدقيق وسياسات الاحتفاظ، وتصنيف بيانات PHI/PII.

5- هندسة البيانات الحديثة ونمذجة البيانات

• تنفيذ هندسة الميدالية (Medallion Architecture) عبر طبقات البرونز والفضة والذهب.
• تطوير نماذج بيانات قابلة للتوسع ومنسقة لتلبية احتياجات التحليلات والتقارير.
• تحديد معايير جودة البيانات وتتبع الأصل (lineage) والحوكمة للبيانات المنسقة.
• التعاون مع فرق الأعمال والتحليلات لإنشاء مجموعات بيانات موثوقة.

6- مراقبة الأحمال والأداء وتحسين التكلفة

• تتبع حداثة البيانات وصحة المهام والأحجام والشذوذ.
• مراقبة اتفاقيات مستوى الخدمة (SLAs) عبر مدة المهمة والأخطاء والتكلفة لكل تيرابايت واستخدام الفتحات (slot usage).
• ضبط أداء BigQuery من خلال تحسين الاستعلامات وإدارة الموارد.
• تحسين التكلفة من خلال إدارة دورة حياة التخزين وضبط الاستعلامات والتخزين المؤقت (caching).

المهارات المطلوبة