بنية البيانات الضخمة بحجم البيتابايت للحكومة المصرية
تصميم حل بيانات ضخمة حديث وعالي الأداء لاستبدال نظام قديم وتمكين تحليل مجموعات البيانات بحجم البيتابايت.
التحدي
كان قطاع حكومي مصري يعاني من قيود مجموعة البيانات الضخمة SQL (BDC) الحالية. لم تكن قادرة على التعامل بكفاءة مع مجموعات البيانات المتنامية، التي كانت تتوسع إلى البيتابايت. احتاجوا إلى بنية جديدة يمكنها توفير أداء استعلام سريع عبر كميات ضخمة من البيانات مع التكامل مع أدواتهم وسير العمل الحالي.
حلنا
صمم مهندسو البيانات لدينا حل بيانات ضخمة متطور لتلبية احتياجات الأداء وقابلية التوسع.
محرك استعلام Dremio:
نفذنا Dremio كمحرك الاستعلام الأساسي، مما وفر واجهة عالية الأداء وأصلية لـ SQL عبر بحيرة البيانات، مما مكن من استعلامات سريعة البرق على البيانات بحجم البيتابايت.
تنسيق Airflow:
استخدمنا Apache Airflow لتنسيق خطوط أنابيب معقدة لاستيعاب البيانات وتحويلها، مما ضمن سير عمل بيانات موثوق وآلي.
تكامل SQL Server:
تم دمج الحل بسلاسة مع بيئة SQL Server الحالية، مما سمح للمحللين بمواصلة استخدام الأدوات المألوفة مع الاستفادة من قوة البنية الجديدة.
التأثير
مكنت البنية الجديدة الكيان الحكومي من تحليل مجموعات البيانات الضخمة بسرعة وكفاءة غير مسبوقة. نجح الحل في التعامل مع بيتابايت من البيانات، وقلل أوقات الاستعلام من ساعات إلى دقائق، ووفر منصة قابلة للتوسع لدعم احتياجاتهم التحليلية المستقبلية، كل ذلك مع التكامل السلس في نظامهم البيئي الحالي.
نظرة عامة على المشروع
التفاصيل الرئيسية حول المشاركة.
العميل
القطاع الحكومي المصري
الخدمات
بنية البيانات، البيانات الضخمة
التقنيات
Dremio، Apache Airflow، SQL Server