تدفق البيانات الآمن في الوقت الفعلي لشركة Glassdoor
هندسة حل تدفق بيانات آمن وعالي الإنتاجية لمعالجة البيانات الحساسة المشفرة في الوقت الفعلي.
التحدي
احتاجت شركة Glassdoor إلى معالجة حجم كبير من بيانات المستخدمين الحساسة والمشفرة في الوقت الفعلي. تطلب الحل أداءً فائقاً للتعامل مع إنتاجية البيانات وأماناً قوياً لضمان خصوصية البيانات والامتثال. كان التحدي هو بناء خط أنابيب منخفض الكمون يمكنه استيعاب البيانات وفك تشفيرها ومعالجتها وإعادة تشفيرها أثناء التشغيل دون إنشاء نقاط ضعف.
حلنا
صممنا حل تدفق بيانات آمن وعالي الأداء باستخدام مجموعة من التقنيات الرائدة.
تدفق Kafka الآمن:
نفذنا Apache Kafka كعمود فقري لمنصة التدفق، وقمنا بتكوينه مع التشفير من طرف إلى طرف (TLS/SSL) والمصادقة (SASL) لتأمين البيانات أثناء النقل.
المعالجة في الوقت الفعلي:
تم تطوير محرك معالجة مخصص لاستهلاك البيانات من مواضيع Kafka، وإجراء فك تشفير في الذاكرة للحقول الحساسة، وتطبيق منطق الأعمال، وإعادة تشفير النتائج قبل النشر إلى موضوع جديد.
مصب البيانات الآمن:
تم تدفق البيانات المعالجة بأمان إلى SQL Server باستخدام Kafka Connect، مع تمكين التشفير الشفاف للبيانات (TDE) على قاعدة البيانات لحماية البيانات في حالة السكون.
التأثير
وفر الحل الناتج لشركة Glassdoor خط أنابيب قابل للتوسع بدرجة عالية وآمن قادر على معالجة البيانات الحساسة في الوقت الفعلي. لبى متطلبات الأمان والامتثال الصارمة مع تقديم الأداء منخفض الكمون المطلوب لتطبيقهم. ضمنت البنية حماية البيانات في كل مرحلة، سواء أثناء النقل أو في حالة السكون.
نظرة عامة على المشروع
التفاصيل الرئيسية حول المشاركة.
العميل
Glassdoor
الخدمات
هندسة البيانات، التدفق في الوقت الفعلي، أمان البيانات
التقنيات
Apache Kafka، SQL Server، مكتبات التشفير المخصصة