مهندس بيانات

المسؤوليات الرئيسية

• تصميم وتطوير وصيانة خطوط أنابيب ELT/ETL لإنتاج مجموعات بيانات نظيفة ومنظمة وموثوقة.
• بناء وصيانة سير عمل تنسيق البيانات باستخدام Apache Airflow.
• تطوير واختبار تحويلات البيانات باستخدام SQL وPython وPySpark.
• مراقبة تنفيذ خطوط الأنابيب، واستكشاف مشكلات المعالجة وإصلاحها، ومعالجة مخاطر اتفاقيات مستوى الخدمة بشكل استباقي.
• إدارة وصيانة بيئات بحيرة البيانات (Lakehouse) والتخزين الكائني وApache Spark وTrino.
• بناء وصيانة خطوط أنابيب CI/CD باستخدام Bitbucket وJenkins.
• إدارة وصول المستخدمين والأدوار والأذونات وحصص الموارد عبر منصات البيانات.
• مراقبة أداء المنصة، والاستجابة للحوادث، وتنفيذ ترقيات النظام وتصحيحاته.
• تحسين إعدادات التخزين، بما في ذلك التقسيم وتنسيقات البيانات والاحتفاظ بالبيانات.
• التعاون مع فرق تكامل البيانات وهندسة البيانات وذكاء الأعمال وهندسة التحليلات لدعم مبادرات البيانات.
• صيانة وثائق البنية التحتية والإجراءات التشغيلية وأدلة التشغيل الفنية.
• المشاركة في تخطيط السعة وتحسين المنصة ومبادرات إدارة التكاليف.
• تقديم التغطية والدعم لأنشطة تكامل البيانات خلال غياب الفريق أو فترات زيادة عبء العمل.

المؤهلات

• درجة البكالوريوس في علوم الحاسب أو نظم المعلومات أو هندسة البرمجيات أو مجال ذي صلة.
• خبرة لا تقل عن 5 سنوات في هندسة البيانات أو مجال ذي صلة.
• إتقان قوي في SQL وPython وPySpark وApache Spark وTrino وApache Airflow.
• خبرة عملية في معمارية بحيرة البيانات (Lakehouse) والتخزين الكائني وتطوير ELT/ETL.
• خبرة عملية في Bitbucket وJenkins وممارسات CI/CD.
• معرفة بإدارة الوصول ومراقبة المنصة والاستجابة للحوادث وتحسين الأداء.
• خبرة في العمل مع منصات بيانات المؤسسات ودعم بيئات البيانات الإنتاجية.
• تطوير خطوط أنابيب ELT/ETL
• تنسيق Apache Airflow
• SQL وPython وPySpark
• Apache Spark وTrino
• معمارية بحيرة البيانات والتخزين الكائني
• CI/CD باستخدام Bitbucket وJenkins
• إدارة منصة البيانات
• إدارة الوصول والأدوار والأذونات والحصص
• مراقبة خطوط الأنابيب وحل الحوادث
• تحسين الأداء والتخزين

المهارات المطلوبة