Глибоко занурюйтеся в хмару Capital One, і стратегія даних перемагає

У рамках тижня даних для VB Transform 2022 Патрік Барч, старший директор з управління продуктами в Capital One Software, вийшов на сцену, щоб пояснити, чому введення в дію сітки даних є критично важливим для роботи в хмарі. Потім, на другий день Data Week, він поспілкувався з Меттом Маршаллом, генеральним директором VentureBeat, щоб зануритися в елемент управління хмарною стратегією та чому цілісний підхід є ключовим для управління хмарою. середовище.

Приблизно шість років тому Capital One зробила все можливе для публічної хмари. Компанія закрила центри обробки даних, якими вона володіла та керувала, і взялася за модернізацію екосистеми даних для машинного навчання.

"Як ти справляєшся з чимось подібним?" — риторично запитав Барч. «І, до речі, ви повинні це правильно зрозуміти, тому що – виберіть свою фразу. Дані - це нова нафта. Дані — це нове золото. У Capital One ми кажемо, що дані – це повітря, яким ми дихаємо. Компанії усвідомлюють, що ключ до успіху в сучасному технологічному ландшафті – це використання їхніх даних. Тому ніякого тиску. »

Перехід до хмари означає більше даних з більшої кількості джерел, які зберігаються в більшій кількості місць, і ціле суспільство користувачів потребує самостійного доступу до всіх цих даних у інструментах, форматі та способі споживання на свій вибір. Усе це відбувається на тлі неоднозначного законодавства про конфіденційність, яке з’являється по всьому світу.

«Коли ви переходите до хмари, ви стикаєтеся з багатьма проблемами», — сказав Барч Маршаллу. «Існують проблеми з публікацією, надсиланням даних у хмару в добре керований спосіб. Є проблеми зі споживанням. Як ви допомагаєте своїм командам знаходити всі ці дані, кількість яких різко зростає, тобто на всіх цих різних платформах, таких як AWS і Google, Snowflake і тому подібне? Як ви обробляєте всі ці дані, особливо на фоні мозаїки нового законодавства про конфіденційність, яке з’являється по всьому світу? Нарешті, це нова парадигма управління інфраструктурою. Ви більше не відповідаєте за сервери. Ви платите по ходу. Як правильно контролювати все це?"

На початку шляху компанія інвестувала в управління продуктами та орієнтований на користувача дизайн в екосистемі даних, щоб вирішити конкретні проблеми всіх своїх клієнтів і користувачів: як вони використовують дані та де стикаються з труднощами. Це стосується всіх: від людей, які публікують високоякісні дані в спільному середовищі, до аналітиків і науковців, які використовують ці високоякісні дані для прийняття важливих бізнес-рішень. Існують групи управління даними та управління ризиками, які займаються встановленням політик і їх дотриманням на підприємстві, а також команди, відповідальні за керування базовою інфраструктурою, яка забезпечує всі ці випадки використання.

Організації часто мають низку точкових рішень для задоволення деяких із цих потреб користувачів. Одній людині може знадобитися використовувати шість або сім різних інструментів і процесів, щоб виконати просте завдання, наприклад надати спільний доступ до нового набору даних або знайти дані. Але це просто не працює, говорить Барч. Масштабування цієї екосистеми стає надзвичайно складним як для команд інженерів, які мають створювати та підтримувати ці інтеграції, так і для користувачів, які мають орієнтуватися на цій карті.

«Для мене суть цієї речі — це ставлення до даних як до товару», — сказав Барч. "Як тільки ваша компанія змінить мислення – а це справді зміна мислення – решта цих принципів стають на свої місця. Ви повинні з’ясувати, як упорядкувати всі ці продукти, і вам потрібно знайти відповідні можливості, щоб увімкнути себе - обслуговування для різноманітних факторів."

Ось тут на допомогу приходить сітка даних: операційна модель, яка може допомогти масштабувати добре керовану екосистему хмарних даних. Capital One підходив до власної екосистеми двома напрямками. Централізована політика, інтегрована в загальну платформу, що дозволило розподілити відповідальність за управління даними. Мета полягала в тому, щоб дати більше контролю командам, які найближче до самих даних, оскільки сітка даних працює лише тоді, коли працює в режимі самообслуговування. Головна ціль полягає в тому, щоб ваші дані працювали зі швидкістю бізнесу.

«Коли ви поєднуєте загальні інструменти та централізовану політику з федеративним володінням, ви полегшуєте роботу для своїх практиків», — сказав він. «Ви перетворюєте дані з вузького місця на щось, що може прискорити та активізувати ваш бізнес».

Інженери Capital One створили ці інструменти та інфраструктуру власними силами, але Барч визнає, що не всі компанії можуть дозволити собі розкіш створювати власні. На щастя, сьогодні доступний широкий спектр рішень, яких не існувало, коли компанія починала свій шлях.

«Ви просто повинні переконатися, що ви створюєте взаємодію з користувачем, яка працює для вашої бази користувачів», — пояснив він. «Дні однієї центральної команди обробки даних і даних, які були роботою ІТ-команди, минули. Подумайте...