أباتشي سبارك™ هو نظام مفتوح المصدر وموزع يعمل كمحرك موحّد لتحليل البيانات بمقياس واسع. تم تصميمه للتعامل مع مجموعة من المهام، بما في ذلك هندسة
البيانات وعلم البيانات وتعلم الآلة، على كل من الأجهزة ذات العقدة الواحدة والمجموعات. يُعرف سبارك ببساطته وسرعته وقابليته للتوسع، ونهجه الموحّد الذي يسمح
للمستخدمين بالعمل مع البيانات في معالجة الدُفعات أو البث الفوري باستخدام عدة
لغات برمجة مثل Python وSQL وScala وJava وR.
الميزات الرئيسية لأباتشي سبارك™ تشمل:
1.
معالجة البيانات بشكل دفع و حزم للبيانات و بشكل وقتي و وقت وصولها :يتيح سبارك معالجة
البيانات، ويوفر منصة موحّدة لمعالجة
البيانات بشكل متنوع.
2. تحليل SQL: يدعم تنفيذ استعلامات SQL السريعة والموزعة، مما يجعله مناسبًا لتحليل البيانات وتقارير اللوحة الإلكترونية والاستعلامات التحليلية الفورية. يمكن لـ سبارك
SQL تنفيذ
استعلامات تشتغل بسرعة أكبر من العديد من مستودعات البيانات التقليدية.
3. علم البيانات بمقياس واسع: يُيسّر سبارك إجراء تحليل البيانات التفاعلي على مجموعات بيانات ضخمة دون الحاجة إلى التخفيض في الحجم، مما يجعله مثاليًا لتحليل
البيانات الكبيرة.
4. تعلم الآلة: يتيح سبارك للمستخدمين تدريب خوارزميات تعلم الآلة على جهاز الكمبيوتر المحلي واستخدام نفس الشيفرة لتوسيع نطاقها بسهولة إلى مجموعات تحمل
الأعطال وتضم آلاف الأجهزة.
5. دعم لعدة لغات: يمكن للمستخدمين العمل مع سبارك باستخدام لغات برمجة متعددة، بما في ذلك Python وSQL وScala وJava وR، مما يوفر مرونة لمختلف حالات
الاستخدام والتفضيلات.
أباتشي سبارك™ تم اعتماده على نطاق واسع، حيث يستخدم الآلاف من الشركات، بما في ذلك 80% من قائمة فورتشن 500، لمعالجة البيانات بمقياس واسع. يتمتع
المشروع
بمجتمع مفتوح ونشط، مع أكثر من 2000 مساهم من الصناعة والأوساط الأكاديمية.
إنّ البيئة البرمجية لأباتشي سبارك™ تتكامل مع إطاراتك المفضلة، مما يساعد
في توسيعها لتشمل آلاف الأجهزة.
أساس أباتشي سبارك™ يعتمد على محرك SQL موزع متقدم للبيانات بمقياس واسع. يشمل ميزات مثل تنفيذ الاستعلام التكيفي، الذي يتيح التكيف مع خطة التنفيذ في
وقت التشغيل، مثل تعيين عدد الخوادم الفاصلة وخوارزميات
الانضمام تلقائيا.
يشجع مشروع سبارك على المشاركة المستمرة من قبل مجتمع مطوريه، حيث يمكن للمستخدمين المساهمة والمشاركة في قوائم البريد والوصول إلى الشيفرة
المصدرية والبقاء على اطلاع بأخبار وفعاليات المشروع. يُرخص Apache Spark™ تحت ترخيص Apache، الإصدار 2.0.
