3 поради щодо моніторингу шаблонів для отримання надійних результатів під час розгортання ШІ

Не змогли відвідати Transform 2022? Перегляньте всі сесії саміту в нашій бібліотеці за запитом! Подивіться сюди.

Штучний інтелект (ШІ) обіцяє змінити майже кожен бізнес на планеті. Ось чому більшість бізнес-лідерів задаються питанням, що їм потрібно зробити, щоб успішно розгорнути ШІ у виробництві.

Багато хто застряг у розшифровці програм, які є реальними для бізнесу; що зберігатиметься з часом у міру розвитку бізнесу; і хто найменше напружуватиме свої команди. Але під час виробництва одним із головних показників успіху проекту штучного інтелекту є безперервний моніторинг моделі, який застосовується навколо нього.

Найкращі команди використовують три ключові стратегії для моніторингу моделей ШІ:

1. Моніторинг тенденцій продуктивності

Вимірювання змін у продуктивності моделей штучного інтелекту потребує двох рівнів аналізу показників: показників здоров’я та бізнес-метрик. Більшість команд машинного навчання (ML) зосереджуються лише на показниках здоров’я моделі. До них належать метрики, які використовуються під час навчання, як-от точність і запам’ятовування, а також оперативні метрики, як-от використання ЦП, пам’яті та мережевий ввід-вивід. Хоча ці заходи є необхідними, вони недостатні самі по собі. Щоб переконатися, що моделі штучного інтелекту мають реальний вплив, команди ML також повинні відстежувати тенденції та коливання показників продукту та бізнесу, на які безпосередньо впливає штучний інтелект.

Подія

MetaBeat 2022

4 жовтня в Сан-Франциско, штат Каліфорнія, MetaBeat збере лідерів думок, щоб порадити, як технологія метавсесвіту змінить спосіб спілкування та ведення бізнесу в усіх галузях.

зареєструватися тут

Наприклад, YouTube використовує штучний інтелект, щоб рекомендувати персоналізований набір відео кожному користувачеві на основі кількох факторів: історії переглядів відео, кількості сеансів, активності користувачів тощо. І коли ці моделі не працюють добре, користувачі витрачають менше часу на перегляд відео в програмі.

Щоб покращити видимість ефективності, командам слід створити єдину уніфіковану інформаційну панель, яка висвітлює показники стану моделі поряд з ключовими продуктами та показниками бізнесу. Ця видимість також допомагає командам ML Ops ефективно усувати проблеми, щойно вони виникають.

2. Виявлення викидів

Іноді моделі можуть давати результат, що значно виходить за межі нормального діапазону результатів: ми називаємо це викидом. Викиди можуть порушити бізнес-результати та часто мати серйозні негативні наслідки, якщо їх не помітити.

Наприклад, Uber використовує ШІ, щоб динамічно визначати ціну кожної поїздки, включно з доплатами. Це залежить від низки факторів, як-от попит водіїв або доступність водіїв у регіоні. Уявіть сценарій, коли концерт закінчується, і учасники одночасно просять продукти. Через збільшення попиту модель може збільшити ціну поїздки в 100 разів порівняно з нормальним діапазоном. Пасажири ніколи не хочуть платити в 100 разів більше за вартість поїздки, що може мати значний вплив на довіру споживачів.

Моніторинг може допомогти компаніям збалансувати переваги передбачень штучного інтелекту та їхні потреби в передбачуваних результатах. Автоматичні сповіщення можуть допомогти командам операцій з машинного навчання виявляти відхилення в режимі реального часу, даючи їм можливість відреагувати до того, як станеться збиток. Крім того, команди ML Ops повинні інвестувати в інструменти для ручного перевизначення вихідних даних моделі.

У нашому прикладі вище виявлення викиду в моделі ціноутворення може попередити команду та допомогти їй вжити виправних заходів, наприклад вимкнути сплеск до того, як це помітять пасажири. Крім того, це може допомогти команді ML зібрати цінні дані для перенавчання моделі, щоб запобігти повторенню цього в майбутньому.

3. Відстеження дрейфу даних

Дрейф означає погіршення продуктивності моделі з часом після того, як вона буде у виробництві. Тому що ШІ м...