مهندس بيانات أول

المسؤوليات

• تصميم وتطوير وصيانة خطوط أنابيب ETL/ELT قابلة للتوسع لاستيعاب البيانات وتحويلها والتحقق منها وتسليمها.
• بناء وجدولة وتنسيق سير عمل بيانات جاهز للإنتاج باستخدام Apache Airflow.
• تطوير وظائف معالجة بيانات موزعة باستخدام Apache Spark.
• كتابة كود Python فعال وقابل لإعادة الاستخدام وقابل للصيانة لمعالجة البيانات والأتمتة وتطوير خطوط الأنابيب.
• تطوير وتحسين استعلامات SQL المعقدة لتحويل البيانات وتحليلها والتحقق من جودتها.
• تصميم خطوط أنابيب قادرة على معالجة مجموعات بيانات كبيرة الحجم منظمة وشبه منظمة وغير منظمة.
• تنفيذ Redis للتخزين المؤقت والوصول عالي الأداء إلى البيانات ومتطلبات التطبيقات كثيفة البيانات.
• دمج البيانات من واجهات برمجة التطبيقات وقواعد البيانات العلائقية والملفات ومقدمي الخدمات الخارجيين والمصادر الداخلية والخارجية الأخرى.
• تنفيذ التحقق من البيانات والمراقبة والتسجيل ومعالجة الأخطاء والتنبيهات وقابلية مراقبة خطوط الأنابيب.
• تحسين أداء خطوط الأنابيب وتخزين البيانات ووقت المعالجة وتكاليف البنية التحتية.
• تطوير أطر عمل قابلة لإعادة الاستخدام لاستيعاب البيانات وتحويلها بدلاً من النصوص البرمجية لمرة واحدة.
• استكشاف أعطال خطوط الأنابيب واختناقات الأداء ومشكلات جودة البيانات وإصلاحها لضمان الحل في الوقت المناسب.
• التعاون مع فرق ذكاء الأعمال والمنتج وعلوم البيانات والهندسة لتقديم مجموعات بيانات موثوقة وجاهزة للإنتاج.
• إنشاء وصيانة معايير هندسة البيانات والتوثيق الفني وأفضل ممارسات التطوير.
• درجة البكالوريوس في علوم الحاسب أو هندسة البرمجيات أو علوم البيانات أو مجال ذي صلة.
• خبرة مهنية من 4 إلى 6 سنوات في هندسة البيانات أو دور وثيق الصلة.
• خبرة عملية قوية في تصميم وتنفيذ خطوط أنابيب ETL/ELT جاهزة للإنتاج.
• إتقان قوي لـ Python لمعالجة البيانات والأتمتة وسير عمل هندسة البيانات.
• مهارات SQL متقدمة وفهم قوي لقواعد البيانات العلائقية.
• خبرة إنتاجية عملية مع Apache Airflow لتنسيق سير العمل.
• خبرة عملية مع Apache Spark ومعالجة البيانات الموزعة.
• فهم قوي لنمذجة البيانات وأنماط التحويل وبنية خطوط أنابيب البيانات.
• خبرة مع Redis واستراتيجيات التخزين المؤقت وأنماط الوصول عالي الأداء إلى البيانات.
• خبرة في معالجة مجموعات البيانات الكبيرة وتحسين أداء خطوط الأنابيب والاستعلامات.
• فهم قوي لجودة البيانات والتحقق والمراقبة وقابلية المراقبة وموثوقية خطوط الأنابيب.
• الإلمام بـ Linux وGit وDocker/الحاويات وممارسات هندسة البرمجيات الحديثة.
• مهارات تحليلية قوية واستكشاف الأخطاء وإصلاحها والتواصل والتعاون بين الفرق.
• خبرة مع منصات البيانات السحابية وخدمات التخزين الكائني مثل AWS أو Azure أو GCP.
• خبرة في العمل مع PostgreSQL أو مستودعات البيانات أو قواعد البيانات التحليلية.
• خبرة في معالجة البيانات الجغرافية المكانية أو مجموعات البيانات الكبيرة القائمة على الموقع.
• الإلمام بـ DuckDB أو Apache Sedona أو Trino أو Presto أو تقنيات تحليلية مماثلة.
• خبرة في معالجة البيانات عالية الحجم للأحداث أو التنقل أو المعاملات أو البيانات الجغرافية المكانية.
• الإلمام بخطوط أنابيب CI/CD وممارسات البنية التحتية ككود.
• خبرة في دعم منتجات البيانات أو منصات التحليلات أو خطوط أنابيب الذكاء الاصطناعي/تعلم الآلة.

المهارات المطلوبة