يدفع Fivetran Metadata API خطوط أنابيب البيانات نحو الشفافية

لتعزيز التزامنا بتوفير تغطية متطورة لتكنولوجيا البيانات ، يسعد VentureBeat أن ترحب بأندرو بروست وتوني باير كمساهمين منتظمين. راقب مشاركاتهم في مسار البيانات.

أعلنت Fivetran بالأمس عن إطلاق واجهة برمجة التطبيقات (API) المصممة لدفع البيانات الوصفية لخطوط البيانات إلى كتالوجات البيانات. من خلال الإضافة إلى المخزن الغني بالفعل من البيانات الوصفية الموجودة في الكتالوجات مثل Collibra و Alation وغيرها ، تهدف واجهة برمجة التطبيقات إلى تحسين جودة البيانات والحوكمة.

تعد واجهة برمجة التطبيقات للبيانات الوصفية مفيدة لتتبع التغييرات التي تطرأ على البيانات أثناء الطيران ، بين أنظمة المصدر والهدف. هناك أيضًا ميزة لتحديد التغييرات التي تحدث في المصادر قبل نقل البيانات فعليًا ، وهو أمر ضروري للحفاظ على الامتثال التنظيمي.

وفقًا لـ Meera Viswanathan ، مديرة المنتج الأول في Fivetran ، فإن العديد من هذه الميزات تستند إلى حقيقة أن "ما توفره واجهة برمجة التطبيقات هو العمود المصدر لتعيين عمود الوجهة".

على هذا النحو ، لديه القدرة على تحديد حتى التغييرات الدقيقة في اصطلاحات التسمية والمخطط في الجداول. يؤدي دمج هذه المعلومات مع الرسوم البيانية لنسب البيانات إلى تسهيل تحليل التأثير حتى تتمكن الشركات من فهم تداعيات التغييرات التي تم إجراؤها من أنظمة المصدر إلى الأنظمة المستهدفة عبر خطوط أنابيب البيانات بشكل كامل. حدث

MetaBeat 2022

ستجمع MetaBeat قادة الفكر لتقديم المشورة بشأن الطريقة التي ستغير بها التكنولوجيا metaverse الطريقة التي تتواصل بها جميع الصناعات وتؤدي أعمالها في 4 أكتوبر في سان فرانسيسكو ، كاليفورنيا. سجل هنا

قال فيسواناثان: "لم تكن المنظمات قادرة على استخراج هذه المعلومات في الماضي". كانت لديهم معلومات ، لكنها كانت متباينة للغاية. قد يقولون: إليك بعض نقاط القوة في Fivetran. لم يكن تعيين البيانات من المصدر إلى الوجهة ممكنًا في الماضي. »

مراقبة البيانات

تعد واجهة برمجة تطبيقات البيانات الوصفية مناسبة للمؤسسات التي لديها تدفقات عمل لإدارة البيانات ، خاصة تلك المتعلقة بالوصول إلى البيانات وخصوصية البيانات والامتثال التنظيمي. من خلال توفير بيانات وصفية دقيقة حول رحلة البيانات عبر خطوط الأنابيب ، يعمل هذا المورد على توسيع نطاق الرؤية والإشراف اللازمين للتحكم في البيانات في هذه القنوات. وعلق فيسواناثان على ذلك بقوله "من خلال مساعدة العملاء على فهم ما يجري في خط الأنابيب ، يمكنهم بعد ذلك تطبيق السياسات الصحيحة". "أعتقد اعتقادًا راسخًا أن الخطوة الأولى في إدارة البيانات يمكن تطبيقها هي خط الأنابيب ، لأن البيانات تكون في حالة راحة أثناء وجودها في المصدر."

قرب نهاية العام ، من المتوقع أن تقدم Fivetran وظائف في Metadata API حتى يتمكن المستخدمون من اكتشاف تغييرات المخطط قبل نقل البيانات. إذا قام شخص ما غير معتاد على متطلبات الامتثال لمجموعة البيانات بإضافة عمود معلومات تحديد الهوية الشخصية إلى مجموعة بيانات ، على سبيل المثال ، يمكن لفرق الأمان والحوكمة رؤية هذا التغيير في كتالوجات البيانات. يمكنهم بعد ذلك التصرف لمنع أي شخص قام بتعديل مجموعة البيانات من نقل البيانات وانتهاك تفويضات الامتثال. "إذا كنت سأقوم بإلغاء حظر عمود أو حظر عمود موجود في النظام الأساسي ، إذا كان بإمكاني إظهار هذه المعلومات في كتالوج البيانات ، حيث يوجد معظم فريق إدارة البيانات وأمن البيانات لدينا ، فيمكنهم منع هذا الطلب من المرور ، "لاحظ فيسواناثان. جودة البيانات

تمتلك واجهة برمجة التطبيقات للبيانات الوصفية أيضًا عددًا كبيرًا من الآثار المترتبة على جودة البيانات. على الرغم من أنه لا يعالج جودة البيانات من حيث إتقان البيانات أو بنية كتابة العناوين في الأنظمة ، على سبيل المثال ، فإنه يمكن بالتأكيد تعزيز موثوقية البيانات. يمكن للمحللين الاطلاع على معلومات المبيعات في مستودع بيانات سحابي والتساؤل من أين تأتي أرقام معينة. يمكن أن توفر المعلومات الواردة في كتالوج بيانات واجهة برمجة التطبيقات للبيانات الوصفية جميع المعلومات الضرورية للمستخدمين للإجابة على هذا السؤال وتحديد ما إذا كانت الأرقام نفسها موثوقة أم لا. وفي هذا الصدد ، قال "...