سيتم دمج مستودعات البيانات والبحيرات

سجل الآن للحصول على بطاقتك الافتراضية المجانية لحضور مؤتمر 9 نوفمبر / تشرين الثاني (Low-Code / No-Code Summit). استمع إلى قادة Service Now و Credit Karma و Stitch Fix و Appian والمزيد. معرفة المزيد.

يتعلق تنبؤي الأول بتأسيس أنظمة البيانات الحديثة: طبقة التخزين. على مدى عقود ، سمحت مستودعات البيانات والبحيرات للشركات بتخزين (وأحيانًا معالجة) كميات كبيرة من البيانات التشغيلية والتحليلية. بينما يخزن المستودع البيانات في حالة منظمة ، من خلال المخططات والجداول ، تقوم البحيرات في الغالب بتخزين البيانات غير المنظمة.

ومع ذلك ، مع نضوج التقنيات وسعي الشركات إلى "الفوز" في حروب تخزين البيانات ، تعمل شركات مثل AWS و Snowflake و Google و Databricks على تطوير حلول تجمع بين أفضل ما في العالمين ، مما يؤدي إلى طمس الحدود بين مستودع البيانات والبيانات أبنية البحيرة. . بالإضافة إلى ذلك ، تتبنى المزيد من الشركات كلاً من المستودعات والبحيرات ، إما كحل واحد أو كحل بديل للعديد من الشركات.

في الغالب لمواكبة المنافسة ، يعمل بائعي المستودعات والبحيرات الرئيسيين على تطوير ميزات جديدة تجعل أي من الحلين أقرب إلى التكافؤ مع الآخر. مع توسع برنامج مستودع البيانات ليشمل علوم البيانات وحالات استخدام التعلم الآلي ، تعمل شركات البحيرة على تطوير أدوات لمساعدة فرق البيانات على فهم البيانات الأولية بشكل أفضل.

ولكن ماذا يعني هذا بالنسبة لجودة البيانات؟ في رأينا ، هذا التقارب بين التقنيات هو في النهاية أخبار جيدة. نوع.

حدث

رأس منخفض / لا يوجد كود

انضم إلى كبار القادة اليوم في قمة Code Low / No-Code تقريبًا في 9 نوفمبر. اشترك للحصول على بطاقتك المجانية اليوم. سجل هنا

من ناحية ، تعني طريقة تحسين تشغيل البيانات باستخدام عدد أقل من الأدوات ، من الناحية النظرية ، أن هناك فرصة أقل للبيانات لكسر الإنتاج. يتطلب Lakehouse توحيدًا أكبر لكيفية عمل منصات البيانات ، وبالتالي يفتح الباب أمام نهج أكثر مركزية لجودة البيانات وإمكانية المراقبة. تجعل أطر العمل مثل ACID (الذرية والاتساق والعزل والمتانة) و Delta Lake إدارة عقود البيانات وإدارة التغيير أكثر قابلية للإدارة على نطاق واسع.

نتوقع أن هذا التقارب سيفيد المستهلكين (من الناحية المالية ومن ناحية إدارة الموارد) ، ولكنه من المحتمل أيضًا أن يؤدي إلى تعقيد إضافي في خطوط بياناتك.

ظهور أدوار جديدة داخل فريق البيانات

في عام 2012 ، صنفت Harvard Business Review "عالم البيانات" على أنها الوظيفة الأكثر جاذبية في القرن الحادي والعشرين. بعد ذلك بوقت قصير ، في عام 2015 ، تم تعيين DJ Patil ، الحاصل على درجة الدكتوراه والرئيس السابق لعلوم البيانات في LinkedIn ، كأول عالم بيانات رئيسي على الإطلاق في الولايات المتحدة. وفي عام 2017 ، توقع Maxime Beauchemin مبتكر Apache Airflow "سقوط مهندس البيانات" في منشور مدونة أساسي.

لقد ولت أيام مسؤولي أو محللي قواعد البيانات المنعزلين منذ فترة طويلة. أصبحت البيانات مؤسستها الخاصة على مستوى المؤسسة مع أدوار مخصصة مثل علماء البيانات والمحللين والمهندسين. في السنوات القادمة ، نتوقع ظهور المزيد من التخصصات لإدارة استيعاب البيانات وتنقيتها وتحويلها وترجمتها وتحليلها وإنتاجها وموثوقيتها.

بالطبع هذه الموجة من التخصص ليست فريدة من نوعها بالنسبة للبيانات. التخصص شائع في جميع الصناعات تقريبًا ...