مهندس بيانات مستوى أول - عن بُعد
L1 Data Engineer - Remote
غير محدد دوام كامل 3+ سنوات
نبحث عن مهندس بيانات مستوى أول متحمس وذو مهارات تقنية قوية للانضمام إلى فريق البيانات والتحليلات المتنامي لدينا. في هذا الدور، ستكون مسؤولاً عن تصميم وبناء وصيانة بنية البيانات والبنية التحتية التي تدعم استراتيجية البيانات في مؤسستنا. ستعمل عملياً على تطوير واختبار ونشر حلول بيانات موثوقة، مما يضمن أن تكون خطوط البيانات قابلة للتوسع وفعالة ومتوافقة مع متطلبات العمل.
هذه فرصة مثالية لمحترف بيانات يتطلع إلى تعميق خبرته في منصات البيانات السحابية الأصلية، خاصة في نظام Microsoft Azure وDatabricks، ويزدهر في بيئة تعاونية سريعة الخطى.
المسؤوليات الرئيسية
- تصميم وتطوير وصيانة خطوط بيانات قابلة للتوسع وسير عمل ETL/ELT لدعم حالات استخدام ذكاء الأعمال والتحليلات.
- بناء وتحسين عمليات استيعاب البيانات باستخدام Azure Data Factory وDatabricks، مما يضمن جودة البيانات واتساقها عبر جميع طبقات منصة البيانات.
- تحويل ومعالجة مجموعات البيانات الكبيرة باستخدام PySpark وPython، مع تطبيق أفضل الممارسات للأداء وقابلية الصيانة.
- كتابة وتحسين استعلامات SQL المعقدة لدعم التقارير التحليلية ومتطلبات التحقق من صحة البيانات.
- التعاون مع مهندسي البيانات وكبار المهندسين لتنفيذ وصيانة نماذج البيانات المتوافقة مع المعايير التنظيمية.
- مراقبة واستكشاف الأخطاء وإصلاحها وحل فشل خطوط البيانات ومشكلات جودة البيانات، مع تطبيق تحليل السبب الجذري لمنع تكرارها.
- المساهمة في توثيق خطوط البيانات وقواميس البيانات ومعايير الهندسة.
- دعم الفريق في استكشاف وتقييم الأدوات والأساليب الجديدة لتحسين البنية التحتية للبيانات باستمرار.
المتطلبات
ميزة إضافية
متطلبات الشهادة
- 3+ سنوات من الخبرة المهنية في هندسة البيانات أو دور وثيق الصلة.
- إتقان قوي للغة Python لمعالجة البيانات وتحويلها ومهام الأتمتة.
- خبرة عملية مع Pandas لمعالجة البيانات وPySpark لمعالجة البيانات الموزعة.
- خبرة عملية مع Databricks، بما في ذلك تطوير الدفاتر والعناقيد وتنسيق الوظائف.
- خبرة في بناء وإدارة خطوط البيانات باستخدام Azure Data Factory.
- معرفة عملية بـ Azure Synapse Analytics، خاصة تكامل تجمع Spark.
- مهارات SQL قوية، بما في ذلك كتابة الاستعلامات وتحسينها وضبط الأداء.
- الإلمام بمبادئ هندسة البيانات بما في ذلك التحميل المتزايد وهندسة بحيرة البيانات وDelta Lake.
- فهم مفاهيم حوكمة البيانات والأمن داخل منصة بيانات سحابية.
- خبرة في مشاريع ترحيل SQL Server، بما في ذلك تحويل المخطط ونقل البيانات.
- الإلمام بـ Terraform لتوفير وإدارة البنية التحتية لـ Azure.
- الإلمام بممارسات CI/CD المطبقة على سير عمل هندسة البيانات.
- خبرة مع مفاهيم Delta Sharing أو Lakehouse Federation.
- من المتوقع أن يحمل المرشحون شهادة Databricks Certified Data Engineer Associate أو أن يكونوا يعملون بنشاط للحصول عليها. تتحقق هذه الشهادة من المعرفة الأساسية عبر المجالات التالية:
- بنية منصة Databricks Lakehouse وقدراتها
- سير عمل ETL وELT باستخدام Spark SQL وPySpark
- معالجة البيانات المتزايدة والبث المنظم
- تطوير خطوط الإنتاج وتنسيقها
- حوكمة البيانات والأمن داخل بيئة Databricks
المهارات المطلوبة
PythonPandasPySparkDatabricksAzure Data FactoryAzure Synapse AnalyticsSQLDelta LakeETL/ELTData Governance
شارك هذه الوظيفة
تنبيهات ذكية
اختر متى نخبرك. · 1 مفعّل
كل وظائف Deep source
جميع الوظائف الجديدة
وظائف البيانات والتحليلات
وظائف في نفس المجال