أخصائي أول - هندسة البيانات

المسؤوليات

• تصميم وتطوير وصيانة خطوط أنابيب البيانات القابلة للتوسع وعمليات ETL باستخدام أدوات مثل Apache Spark وApache Kafka وApache Airflow لاستيعاب ومعالجة وتحويل كميات كبيرة من البيانات من مصادر مختلفة.
• نشر خطوط أنابيب البيانات على منتجات معالجة البيانات المختلفة - DataFlow (Apache Beam)، DataProc (Hadoop/Spark)، Data Fusion، Cloud Composer (Airflow)
• بناء الأنظمة الموزعة ومخازن البيانات
• التعاون مع فرق علوم البيانات والتسويق ونجاح العملاء ودعمهم في اكتساب البيانات وتكامل الأدوات
• تكوين خدمات Google Cloud Platform
• تنفيذ وتحسين حلول تخزين البيانات، بما في ذلك مستودعات البيانات (مثل Amazon Redshift وGoogle BigQuery) وبحيرات البيانات (مثل AWS S3 وAzure Data Lake Storage) وقواعد بيانات NoSQL (مثل MongoDB وCassandra).
• العمل عن كثب مع مهندسي البيانات لتصميم وتنفيذ نماذج بيانات فعالة باستخدام تقنيات النمذجة الأبعادية (مثل مخطط النجوم ومخطط ندفة الثلج) التي تدعم متطلبات العمل وتمكن من تحليل البيانات بشكل فعال.
• التعاون مع علماء البيانات والمحللين لفهم متطلبات البيانات وتطوير حلول لدعم التحليلات المتقدمة ومبادرات تعلم الآلة، بما في ذلك تدريب النماذج ونشرها.
• تنفيذ فحوصات جودة البيانات والمراقبة والنصوص البرمجية المخصصة لضمان دقة البيانات واكتمالها وموثوقيتها.
• المشاركة في استكشاف الأخطاء وإصلاحها وحل المشكلات المتعلقة بالبيانات، وضمان الحل في الوقت المناسب وتقليل الانقطاع في عمليات الأعمال.
• البقاء على اطلاع دائم بالتقنيات الناشئة وأفضل الممارسات في هندسة البيانات، بما في ذلك الحلول السحابية الأصلية والبنى بدون خادم، والمساهمة في التحسين المستمر لمنصات البيانات والبنية التحتية.
• معرفة قوية بـ Google BigQuery لمعالجة البيانات بشكل فعال
• اقتراح وتنفيذ أتمتة المهام المتكررة.
• تقديم الدعم لفرق التطوير في الموضوعات المتعلقة بالنشر.
• تحديث بحيرات البيانات ومستودعات البيانات

المتطلبات

• درجة في علوم الكمبيوتر أو تكنولوجيا المعلومات أو مجال مشابه؛ الماجستير ميزة إضافية.
• خبرة سابقة كمهندس بيانات أو في دور مماثل. يفضل Google Cloud Platform.
• خبرة فنية في نماذج البيانات واستخراج البيانات وتقنيات التجزئة.
• إتقان لغات البرمجة مثل Python أو Java أو Scala، وخبرة مع قواعد بيانات SQL وNoSQL.
• فهم قوي لنمذجة البيانات وعمليات ETL ومفاهيم مستودعات البيانات وتقنيات تكامل البيانات.
• خبرة مع المنصات السحابية مثل AWS أو Azure أو Google Cloud Platform، والإلمام بالخدمات ذات الصلة (مثل AWS Glue وAzure Data Factory وGoogle BigQuery).
• مهارات ممتازة في حل المشكلات والاهتمام بالتفاصيل، مع القدرة على العمل بفعالية في بيئة سريعة الخطى وإدارة أولويات متعددة.
• مهارات تواصل وشخصية قوية، مع القدرة على التعاون بفعالية مع الفرق متعددة الوظائف وأصحاب المصلحة.
• شهادة سحابية في هندسة البيانات (مثل Google Certified Data Engineer) ميزة إضافية.

المهارات المطلوبة