مهندس بيانات أول - الذكاء الاصطناعي (الذكاء الاصطناعي المولد وأنظمة التوصية)

المسؤوليات الرئيسية

• بنية الأنابيب وتطويرها: بناء وصيانة أنابيب قابلة للتطوير ومقاومة للأخطاء للعمليات المتقطعة والمتدفقة التي تخدم حالات الاستخدام التحليلية والتعلم الآلي.
• التقارير المركزية والمقاييس: تحديد المقاييس الرئيسية لكل منتج نطلقه وبناء تقارير مركزية قوية حولها، وإظهار الاتجاهات والتحليلات التي تهم.
• نماذج البيانات: تصميم وامتلاك نماذج بيانات متعددة الطبقات (المرحلة المؤقتة إلى المarts جاهزة للميزات) التي تظل متسقة وأدائية عبر نماذج التعلم الآلي، واللوحات، والواجهات البرمجية، ومعالجة التغييرات في المخطط بشكل نظيف.
• مخزن الميزات وتدفقات بيانات التعلم الآلي: هندسة تدفقات البيانات التي تملأ وتحدّث مخزن ميزات التعلم الآلي (وبيانات الرسوم البيانية حيثما كان ذلك ذا صلة) مع توفر نماذج التوصية منخفضة التأخير التي تحتاجها.
• التجارب واختبارات A/B: بناء الأنابيب وإطارات المقاييس وراء اختبارات A/B - مخططات التجارب، وتسجيل التخصيص، وحساب المقاييس الموثوقة للنتائج السليمة إحصائياً.
• إتقان ClickHouse: امتلاك ClickHouse كخبير المجال - تصميم المخطط، وتحسين الأداء، والتحويلات السريعة للاستعلامات لتجمع التجارب وتقديم الميزات.
• التدفق المتقطع وتسجيل التغيير: تنفيذ تسجيل بيانات التغيير (CDC) والتدفقات الموجهة للحدث (مثل Apache Kafka) للحفاظ على البيانات حديثة حيثما تحتاجها التقارير والتوصيات.
• التنسيق والأتمتة: بناء وإدارة التدفقات مع أدوات التنسيق الحديثة (مثل Mage AI، Airflow، Prefect) للتسليم الموثوق وإدارة الاعتماديات.
• الدعم الملموس بالتعلم الآلي: تحديد وتفسير المقاييس التصنيفية الصحيحة، وتصميم الميزات التي تحتاجها النماذج فعلاً.
• التعاون عبر الوظائف: التعاون مع علماء البيانات، ومهندسي التعلم الآلي، والفرق المنتجة والخلفية لتحويل متطلبات البيانات إلى أنابيب إنتاجية وميزات تعلم آلي قابلة للتنفيذ.
• الخبرة: 4+ سنوات كمهندس بيانات/تحليلات يبني أنظمة البيانات للتحليلات والتعلم الآلي.
• البرمجة: خبير في بايثون وSQL المتقدم.
• BI & Visualization: مهارات قوية في BI/التحليلات المرئية (مثل Looker، Tableau) وحس جيد في المقاييس التي تهم وكيفية عرضها.
• الأنابيب والتنسيق: بناء الأنابيب يدوياً مع التنسيق الحديث (Mage AI، Airflow، Prefect) - أنت تبني بياناتك الخاصة، وليس فقط استهلاكها.
• مستودع البيانات / ClickHouse: خبرة عميقة في الإنتاج مع ClickHouse (أو BigQuery، Snowflake، أو مشابه).
• نماذج البيانات: نماذج متعددة الطبقات يدوياً (الخام، المؤقت، المarts) باستخدام أنماط Kimball، أو Data Vault، أو OBT.
• التجارب واختبارات A/B: فهم قوي لأطر التجارب - التخصيص، والاحتجاز، وأنابيب المقاييس، والحد من التباين.
• التعرض للتعلم الآلي: فهم جيد لدورة حياة التعلم الآلي - كيف تستهلك النماذج البيانات، وكيف تعمل مخازن الميزات (مثل Feast، Hopsworks)، وكيف يتم تصميم الميزات على نطاق واسع، بالإضافة إلى معرفة كافية بمقاييس الترتيب لدعم أنظمة التوصية.

المتطلبات

• DBT لنمذجة التحول.
• بناء أو دمج منصات A/B (مثل Statsig، Optimizely، GrowthBook، أو مخصص).
• أدوات Apache Kafka و CDC (مثل Debezium، Maxwell).
• قواعد بيانات الرسوم البيانية (مثل Dgraph، Neo4j، Amazon Neptune) وهيكلة البيانات لها.
• JavaScript أو Go.

المهارات المطلوبة