Автоматизація конвеєра даних: як Upsolver прагне зменшити складність

Для подальшого зміцнення нашої відданості забезпеченню передових технологій обробки даних VentureBeat із задоволенням вітає Ендрю Браста та Тоні Бера як постійних учасників. Слідкуйте за їхніми публікаціями в каналі даних.

Цінностна пропозиція Upsolver є переконливою, особливо для тих, хто потребує потокових даних, озер даних і озер даних, а також брак досвідчених інженерів даних. Це тема нещодавно опублікованої книги генерального директора Upsolver Орі Рафаеля Розблокувати складні та потокові дані за допомогою декларативних конвеєрів даних.

Замість того, щоб вручну кодувати конвеєри даних і їхню численну складність, ви можете просто оголосити тип трансформації, необхідної від джерела до цільового. Після цього основний механізм обробляє логістику цієї значною мірою автоматизованої операції (з введенням даних користувача, якщо необхідно), переводячи вихідні дані в зручний формат для цілей.

Дехто може назвати це магією, але це набагато практичніше.

«Якщо ви задекларуєте свій конвеєр даних замість кодування вручну, ви заощадите приблизно 90% роботи», — сказав Рафаель.

Подія

MetaBeat 2022

4 жовтня в Сан-Франциско, штат Каліфорнія, MetaBeat збере лідерів думок, щоб порадити, як технологія метавсесвіту змінить спосіб спілкування та ведення бізнесу в усіх галузях.

зареєструватися тут

У результаті організації можуть витрачати менше часу на створення, тестування та підтримку конвеєрів даних і більше часу на використання переваг перетворення даних для конкретних випадків використання. З огляду на те, що сучасні додатки все більше включають аналітику та транзакційні системи з низькою затримкою, скорочення часу на виконання дій може значно вплинути на рентабельність інвестицій процесів, керованих даними.

> Базова складність конвеєрів даних

Необізнаним багато аспектів каналів даних можуть здатися заплутаними або складними. Організаціям необхідно враховувати різні аспекти схеми, шаблони даних, якість даних тощо з тим, що часто є даними про події в реальному часі, наприклад, для рекомендацій електронної комерції. За словами Рафаеля, ці складності легко розподілити на три категорії: оркестровка, керування файловою системою та масштаб. Upsolver забезпечує автоматизацію в кожній із таких областей:

Оркестровка: Суворість оркестровки конвеєрів даних не є тривіальною. Вони передбачають оцінку того, як окремі роботи впливають на наступні в мережі описів даних, метаданих і табличної інформації. Ці залежності часто представлені у спрямованому ациклічному графі (DAG), для завершення якого потрібен час. «Ми автоматизуємо процес створення DAG», — розповів Рафаель. «Відсутність необхідності працювати над створенням самих DAG — це величезна економія часу для користувачів». Керування файловою системою: для цього аспекту конвеєрів даних Upsolver може обробляти аспекти формату файлової системи (наприклад, Oracle). Існують також нюанси стиснення файлів до придатних для використання розмірів і синхронізації рівня метаданих і рівня даних, усе це Upsolver робить для користувачів. Масштаб: численні аспекти автоматизації, пов’язані з масштабуванням даних конвеєрної обробки, включають надання ресурсів для забезпечення низької затримки. «Потрібно мати достатньо кластерів та інфраструктури», — пояснив Рафаель. «Тож тепер, якщо ви отримуєте великий [сплеск], ви вже готові впоратися з цим, замість того, щоб просто почати розкручувати [ресурси]». Інтеграція даних

Окрім появи хмарних обчислень і розподілу обчислювальних ресурсів поза чотирма стінами організацій, найважливішим рушієм конвеєра даних є інтеграція та збір даних. Як правило, яким би ефективним не було джерело потокових даних (наприклад, події в темі Кафки, що ілюструє поведінку користувача), його справжня перевага полягає в поєднанні...