Fivetran Metadata API сприяє підвищенню прозорості конвеєрів даних

Для подальшого зміцнення нашої відданості забезпеченню передових технологій обробки даних VentureBeat із задоволенням вітає Ендрю Браста та Тоні Бера як постійних учасників. Слідкуйте за їхніми публікаціями в каналі даних.

Fivetran вчора оголосив про випуск API, розробленого для надсилання метаданих каналу даних у каталоги даних. Додаючи до вже багатого сховища метаданих, що містяться в таких каталогах, як Collibra, Alation та інші, API прагне покращити якість даних і управління.

API метаданих корисний для відстеження змін даних під час польоту між вихідною та цільовою системами. Існує також функція для визначення того, які зміни відбуваються в джерелах до фактичного переміщення даних, що важливо для підтримання нормативної відповідності.

За словами Міри Вішванатан, старшого менеджера з продуктів компанії Fivetran, багато з цих функцій засновані на тому факті, що «те, що надає API, це зіставлення вихідного стовпця з цільовим».

Як такий, він має потенціал для ідентифікації навіть незначних змін у схемі та правилах іменування в таблицях. Поєднання цієї інформації з графіками походження даних полегшує аналіз впливу, щоб компанії могли повністю зрозуміти наслідки змін, внесених від вихідних систем до цільових систем через конвеєри даних.

MetaBeat 2022

4 жовтня в Сан-Франциско, штат Каліфорнія, MetaBeat збере лідерів думок, щоб порадити, як технологія метавсесвіту змінить спосіб спілкування та ведення бізнесу в усіх галузях.

«Організації не могли отримати цю інформацію в минулому», — сказав Вішванатан. «У них була інформація, але вона була дуже розбіжною. Вони можуть сказати: ось деякі сильні сторони Fivetran. Відображення даних від джерела до місця призначення ніколи не було можливим у минулому. »

API метаданих підходить для організацій із усталеними робочими процесами керування даними, особливо пов’язаними з доступом до даних, конфіденційністю даних і дотриманням нормативних вимог. Надаючи точні метадані про шлях даних через конвеєри, цей ресурс розширює видимість і нагляд, необхідні для керування даними в цих каналах. «Допомагаючи клієнтам зрозуміти, що відбувається в конвеєрі, вони потім можуть застосовувати правильні політики», — прокоментував Вішванатан. «Я твердо переконаний, що першим кроком у управлінні даними може бути реалізований конвеєр, оскільки дані перебувають у стані спокою, поки знаходяться в джерелі».

Очікується, що наприкінці року Fivetran представить функціональні можливості в API метаданих, щоб користувачі могли виявляти зміни схеми ще до того, як дані перемістяться. Наприклад, якщо хтось, незнайомий із вимогами відповідності набору даних, випадково додає стовпець ідентифікаційної інформації до набору даних, групи безпеки та керування можуть побачити цю зміну в каталогах даних. Потім вони можуть діяти, щоб запобігти тому, хто змінив набір даних, від переміщення даних і порушення вимог відповідності. «Якщо я збираюся розблокувати стовпець або заблокувати стовпець на платформі, якщо я зможу відкрити цю інформацію в каталозі даних, де знаходиться більшість нашої команди з управління даними та безпеки даних, вони зможуть запобігти проходженню цього запиту ", - зазначив Вішванатан.

API метаданих також має величезну кількість наслідків для якості даних. Незважаючи на те, що він не стосується якості даних з точки зору обробки даних або структури запису адрес у системах, наприклад, він, безумовно, може підвищити надійність даних. Аналітики можуть переглядати інформацію про продажі в хмарному сховищі даних і дивуватися, звідки беруться певні цифри. Інформація з каталогу даних API метаданих може надати користувачам всю необхідну інформацію, щоб відповісти на це запитання та визначити, чи надійні самі цифри. З цього приводу він «...