هدوب المحرك الموحد (Apache Hadoop) هو إطار عمل مفتوح المصدر يُستخدم لتخزين ومعالجة البيانات الضخمة (Big Data) بشكل فعال وموزع. تم تطويره أصلاً بواسطة شركة Yahoo وتم تسليمه إلى مؤسسة Apache Software Foundation كمشروع
مفتوح المصدر في عام 2008. يعتبر
هدوب أحد أبرز الأدوات التي تتيح للشركات والمؤسسات التعامل مع حجم البيانات
الهائل الذي يتزايد بشكل متسارع في العصر الرقمي الحالي.
تتكون تقنية هدوب من عدة
مكونات رئيسية، من بينها:
Hadoop Distributed File
System (HDFS) نظام ملفات
موزع يستخدم لتخزين البيانات الكبيرة عبر عدة خوادم. يعمل HDFS على
تقسيم البيانات إلى قطع صغيرة تُخزن على عدة خوادم مختلفة لتحقيق التوازن وزيادة
الاستدامة.
MapReduce نموذج برمجة يتم استخدامه لمعالجة وتحليل
البيانات على نطاق واسع في بيئة هدوب. يقوم MapReduce بتقسيم
المهام إلى عمليات صغيرة تُنفذ بشكل موزع عبر العديد من الخوادم، ثم يقوم بجمع
النتائج الجزئية وتجميعها للحصول على النتيجة النهائية.
YARN (Yet Another Resource
Negotiator)نظام إدارة
الموارد الذي يُدير استخدام الموارد على مستوى العقدة في بيئة هدوب. يتيح YARN تنفيذ تطبيقات متعددة الأغراض على نفس البنية التحتية
بشكل فعال.
Apache Hiveمنصة لتخزين البيانات واستعلامها باستخدام
لغة الاستعلام SQL
(HiveQL)، مما يتيح
للمستخدمين تحليل البيانات بطريقة مألوفة وسهلة.
Apache Pig لغة برمجة موجهة للبيانات تسمح للمطورين
بتحليل ومعالجة البيانات بشكل موزع بشكل أسهل من خلال توفير واجهة برمجة مبسطة.
Apache Sparkإطار عمل مفتوح المصدر يوفر أدوات للتحليل
البياني ومعالجة البيانات الكبيرة بشكل سريع وفعال. يتيح Spark إمكانية
تنفيذ العمليات الإحصائية والمعالجة التفاعلية للبيانات.
تجمع جميع هذه المكونات معًا لتوفير بيئة متكاملة وموزعة لتخزين ومعالجة البيانات الكبيرة. يتيح هدوب للمؤسسات استخدام الحوسبة الموزعة للتعامل مع تحليلات البيانات والتطبيقات الأخرى التي تتطلب موارد ضخمة وقدرة عالية على المعالجة. تمثل
هدوب تكنولوجيا أساسية في عالم
البيانات الضخمة وتوفر حلاً موثوقًا وقابلاً للتطوير لمشاكل التحليل الضخمة
والتخزين.
