كيف تصبح مهندس بيانات ضخمة(big Data)
يتفاعل مهندسو البيانات الضخمة مع أنظمة معالجة البيانات الضخمة وقواعد البيانات في بيئات الحوسبة واسعة النطاق. يقومون بفرز البيانات الشاملة للعثور على المجموعات ذات الصلة للتحليل ، والتي تستخدمها المنظمات بعد ذلك للتنبؤ بالسلوك.
يزود مهندسو البيانات الضخمة المؤسسات بالتحليلات التي تساعدهم على تقييم أدائهم وتحديد التركيبة السكانية للسوق والتنبؤ بالتغييرات القادمة واتجاهات السوق. يحتاج كل مجال تقريبًا إلى مهندسي البيانات الضخمة ، حيث يقدمون رؤى مفيدة في الأعمال التجارية ، والتمويل ، والحكومة ، والرعاية الصحية ، والعلوم ، والاتصالات ، وغيرها من الصناعات.
مهندسو البيانات الضخمة على مكتب يقومون بتحليل شاشة الكمبيوتر
ماذا يفعل مهندس البيانات الضخمة(big data engineer) ؟
قبل الخوض في ما يفعله مهندسي البيانات الضخمة ، من المهم فهم ماهي( big Data )
ماهي البيانات الضخمة(Big data )؟
. وفقًا لمكتب الولايات المتحدة لإحصائيات العمل (BLS) ، فإن البيانات الضخمة هي جمع وتحليل المعلومات التي تولدها المنظمات على مستويات غير مسبوقة. يأتي الكثير من البيانات من مصادر مثل التجارة الإلكترونية والهواتف الذكية ووسائل التواصل الاجتماعي - وكلها تقنيات جديدة نسبيًا.
البيانات الضخمة كنظام بحثي لا يزال قيد التطوير. ونتيجة لذلك ، لا يزال تصنيف الظاهرة وفهمها أمرًا بعيد المنال. تتمتع البيانات الضخمة بالقدرة على التنبؤ بتقلبات السوق وتحولات الصناعة والاتجاهات الأخرى بدقة غير مسبوقة. يعني استخدام البيانات الضخمة رؤية ما هو أبعد من بضع نقاط بيانات فورية
- يتعلق الأمر بالتقاط الصورة الأكبر بناءً على نطاق أوسع من البيانات.
يجب أن يدير هذا الدفق شبه المستمر من البيانات شخص يمكنه تفسير المعلومات وإنتاج رؤى قابلة للتنفيذ.
هذه هي وظيفة مهندسي البيانات الضخمة
- المعروفين أيضًا باسم علماء البيانات والإحصائيين وعلماء أبحاث الكمبيوتر والمعلومات.
ما يفعله مهندس البيانات الضخمة (big data engineer) هو إكمال العديد من المهام المختلفة باستخدام مهارات مستمدة من العديد من المجالات. على سبيل المثال ، قد يكونون
ماهي مسؤليات مهندس BIG DATA
مسؤولين عن المهام التالية:
- العمل مع مهندسي البيانات (data architects ) وفريق (IT) على صياغة أهداف المشروع،
- بناء أنظمة إدارة بيانات قابلة للتطوير بدرجة كبيرة من مرحلة التصميم حتى الانتهاء،
- تصميم خوارزميات عالية المستوى ونماذج تنبؤية ونماذج أولية،
- إنشاء عمليات مجموعة البيانات لاستخدامها في نمذجة البيانات والتعدين والإنتاج،
- تطوير تطبيقات تحليلات مخصصة وأنواع أخرى من البرامج،
- تأكد من أن أنظمة البيانات تلبي متطلبات محددة،
- الإشراف على الاستعدادات للتعافي من الكوارث،
- البحث عن تحسينات في جودة البيانات والموثوقية والكفاءة،
- البحث عن فرص الحصول على البيانات وكذلك الاستخدامات الجديدة للبيانات والأدوات الموجودة،
يمكن للمهتمين بأن يصبحوا مهندس بيانات ضخمة (big data engineer) من خلال تطوير مهارات حل المشكلات واكتساب المعرفة و بتكامل البيانات وقاعدة البيانات.
تتعلق بعض أصعب المهام الموكلة لمهندسي البيانات الضخمة (big data engineer) بالفرز من خلال مجموعات عشوائية وغير منظمة من البيانات من العديد من المصادر المختلفة وفي العديد من التنسيقات المختلفة. يهدف مهندسو البيانات الضخمة إلى تحويل هذه المعلومات العشوائية إلى بيانات نظيفة ودقيقة وقابلة للتنفيذ - يمكن فهمها لأي شخص يتلقى تقارير بناءً على المعلومات.
خطوات لتصبح مهندس بيانات ضخمة (big data engineer )
يتضمن المسار المهني لتصبح مهندس بيانات كبير التعليم والخبرة العملية والشهادات الاختيارية. في كل خطوة على الطريق ، يمكن للمهندسين صقل مهاراتهم ومعرفتهم ، مما يزيد من فرصهم في التوظيف.
ماهي المهارات المطلوبة لمهندس big Data Engineer؟
الخطوة 1: التعليم
تتمثل الخطوة الأولى نحو أن تصبح مهندس بيانات ضخمة في تعزيز الاهتمام بعلوم الكمبيوتر أو الرياضيات أو الفيزياء أو الإحصاء أو هندسة الكمبيوتر. عادة ما يتم تقديم هذه المواد في المدرسة الثانوية والتوسع فيها في برامج البكالوريوس والدراسات العليا. يحمل مهندسو البيانات الضخمة (big data engineer) درجة البكالوريوس على الأقل ، ومعظمهم حاصل أيضًا على درجة متقدمة ، مثل درجة الماجستير عبر الإنترنت في تحليلات بيانات الأعمال .
تعد سنوات الدراسة الإضافية ضرورية لتعلم المهارات التقنية التي لا تعد ولا تحصى التي يحتاجها مهندس البيانات الضخمة (big data engineer ) . تشمل مزايا الحصول على درجة الماجستير اكتساب خبرة تحليلية وهندسية برمجية متقدمة في مجالات مثل مبادئ قواعد البيانات ، وتصور البيانات ، وتحليلات بيانات الأعمال ، واستخراج البيانات ، والتنبؤ والنمذجة التنبؤية.
فيما يلي بعض المجالات التقنية التي قد يحتاج المحترفون فيها إلى أن يكونوا بارعين للتقدم في هذه المهنة:
معماريات قواعد البيانات (Database architectures )
SQL ، بما في ذلك PostgreSQL و MySQL
أدوات نمذجة البيانات
(Data modeling tools)
مثل
Erwin و Enterprise Architect
برامج إحصائية
MatLab و SAS و R statistical programs
خوارزميات للنمذجة التنبؤية ومعالجة اللغة الطبيعية (natural language processing ) (NLP)
النمذجة والتحليل الإحصائي (Statistical modeling and analysis )
تحليلات الأعمال والذكاء (Business analytics and intelligence )
باستخدام أدوات الحوسبة السحابية مثل Microsoft PowerBI و Azure
لغة MapReduce Hadoop المترجمة ولغة استعلام Hive ولغة البرمجة النصية Apache Pig
قواعد بيانات NoSQL ، مثل Cassandra و MongoDB
لغات البرمجة: Python و R برمجة و
CC ++ و Java و Perl
أنظمة تشغيل UNIX و MS Windows و Linux و Solaris
الخطوة الثانية: الخبرة في العمل
يمكن لاكتساب خبرة في العمل ، حتى أثناء الحصول على درجة متقدمة ، أن يساعد الطلاب على تطوير القدرات التي يحتاجها مهندس البيانات الضخمة للنجاح: التواصل وحل المشكلات والمهارات التحليلية والتفكير النقدي والتفكير المنطقي والاهتمام بالتفاصيل.
يجب على محترفي تكنولوجيا المعلومات الذين يتطلعون إلى التطور إلى دور مهندس البيانات الضخمة صقل مهارات إضافية خارج الفصل الدراسي. تشمل هذه المهارات الشخصية والتجارية القدرة على التعاون ، والفضول لمواصلة التعلم ، والحماس لإيجاد حلول إبداعية للتحديات المعقدة.
الخطوة 3: الشهادة (اختياري)
هناك خطوة أخرى يجب مراعاتها قبل التقدم لشغل وظائف هندسة البيانات الضخمة - الشهادات. قد يبرز المحترفون عن منافسيهم ويصبحون أكثر جاذبية لأصحاب العمل من خلال الحصول على شهادات تثبت كفاءتهم في المهارات الأساسية. تتطلب بعض الشهادات الحصول على درجة علمية متقدمة ، بينما لا يشترط البعض الآخر شروط مسبقة خاصة. قد يسعى علماء البيانات الضخمة للحصول على
ماهي الشهادات المطلوبة لمهندس big Data Engineer؟
الشهادات المهنية التالية:
مهندس بيانات محترف معتمد من Cloudera.
تعتمد Cloudera المحترفين في المهارات التالية: تحليل البيانات ، وتطوير سير العمل ، واستيعاب البيانات ، وتنظيم البيانات وتخزينها ، والتحويل. يستغرق اختبار الشهادة أربع ساعات ويكلف 400 دولار. لا توجد متطلبات مسبقة.
محترف البيانات الضخمة المعتمد (CBDP).
تركز شهادة CBDP على اختبار الكفاءة في علوم البيانات وذكاء الأعمال التجارية. طور معهد اعتماد محترفي الحوسبة هذه الشهادة ، والتي تختلف تكلفتها بناءً على مستوى الاختبار. اعتمادًا على مستوى الشهادة ، يجب أن يكون لدى المرشحين سنة واحدة على الأقل من الخبرة الفنية ودرجة البكالوريوس.
مهندس بيانات محترف معتمد من Google Cloud .
تختبر شهادة Google Cloud الكفاءة في بناء هياكل البيانات وتصميم أنظمة البيانات وتحليل وتصميم التعلم الآلي والموثوقية والأمان والامتثال. يستغرق اختبار الشهادة هذا ساعتين ويكلف 200 دولار. لا توجد متطلبات مسبقة.
رواتب مهندس البيانات الضخمة
لا تجمع BLS معلومات عن علماء البيانات الضخمة. بدلاً من ذلك ، يستشهد بوظائف مماثلة ، مثل الإحصائي وعالم الرياضيات وعالم الكمبيوتر وأبحاث المعلومات. في ما يلي عدد قليل من أرقام BLS من مايو 2017 والتي تمثل
رواتب مهندس البيانات الضخمة(big Data Engineer )؟
يحصل الإحصائيون على أجر سنوي متوسط قدره 84،060 دولارًا.
يحصل علماء أبحاث الكمبيوتر والمعلومات على أجر سنوي متوسط قدره 114،520 دولارًا.
يشارك PayScale نقاط رواتب مهندس البيانات الضخمة التالية:
يبلغ مهندسو البيانات الضخمة ( Big data engineer ) عن رواتب تتراوح بين 66 ألف دولار و 130 ألف دولار ،
يتراوح متوسط الرواتب السنوية لعالم البيانات(Data scientist ) من 63000 دولار إلى 129000 دولار،
تعتمد رواتب مهندس البيانات الضخمة هذه إلى حد كبير على مستويات التعليم والخبرة: المهنيون الحاصلون على درجة الماجستير أو الدكتوراه ،
الذين يمتلكون خبرة واسعة يكسبون أكثر من نظرائهم الأقل تأهيلًا.
مع اكتساب المهنيين المزيد من المعرفة والخبرة ، ستتداخل مهاراتهم المتخصصة ، مما يجعل قابليتهم للتطبيق المتبادل جذابة للغاية لأصحاب العمل المحتملين.
توقعات التوظيف لمهندسي البيانات الضخمة
كما ذكرنا سابقًا ، يضع BLS مهندسي البيانات الضخمة ضمن فئات الإحصائيين ومبرمجي الكمبيوتر وعلماء أبحاث الكمبيوتر والمعلومات. فيما يلي توقعات النمو لهذه المهن:
تتوقع BLS نمو وظائف الإحصائيين (statistician ) بنسبة 34٪ بين عامي 2016 و 2026 ، وهو أسرع بكثير من متوسط النمو المتوقع بنسبة 7 في المائة لجميع المهن في الولايات المتحدة في تلك الفترة.
وهذا يتم ترجمته إلى إضافة 12600 وظيفة جديدة متاحة للمهنيين المؤهلين.
يمثل الإحصائيون الاحتلال السابع الأسرع نموًا في الولايات المتحدة ، وفقًا لـ BLS.
تتوقع BLS أن تنمو وظائف علماء أبحاث الكمبيوتر والمعلومات(computer and information research scientist ) بنسبة 19٪ بين عامي 2016 و 2026 ، مع إضافة 5400 وظيفة.
تشير مواقع الوظائف الإضافية أيضًا إلى النمو السريع المتوقع في قطاع مهندس البيانات الضخمة. على سبيل المثال ، يسرد موقع الوظائف المشهور Glassdoor، عالم البيانات كأفضل وظيفة في أمريكا لعام 2019 ،
مع ما يقدر بـ 6510 فرصة عمل جديدة وتقييم الرضا الوظيفي 4.3 من 5.
تسريع إمكانياتك المهنية لعالم البيانات الضخمة
قد تكون المهنة كمهندس بيانات ضخمة big Data مناسبة تمامًا للمهنيين الذين يتوقون للانضمام إلى مجال سريع النمو ومطلوب يتماشى مع حبهم لعلوم الكمبيوتر أو الرياضيات أو الإحصاء أو هندسة الكمبيوتر.