Хороша ML приносить велику відповідальність: 5 ключових питань щодо розробки моделі

Не змогли відвідати Transform 2022? Перегляньте всі сесії саміту в нашій бібліотеці за запитом! Подивіться сюди.

Швидке зростання можливостей машинного навчання (ML) призвело до вибуху його використання. Обробка природної мови та моделі комп’ютерного зору, які десять років тому здавалися дивовижними, зараз широко використовуються в багатьох галузях. Ми можемо створювати моделі, які генерують високоякісні, складні зображення з ніколи раніше не бачених підказок, надавати послідовні текстові відповіді з простим початковим початковим кодом або навіть вести повністю послідовні розмови. І цілком ймовірно, що ми лише дряпаємо поверхню.

Однак у міру того, як ці моделі стають потужнішими та їх використання стає все більш поширеним, ми повинні знати про їхні ненавмисні та потенційно небезпечні наслідки. Наприклад, модель, яка передбачає кредитоспроможність, повинна гарантувати, що вона не дискримінує певні демографічні групи. Пошукова система на основі машинного навчання також не повинна повертати лише результати зображень із однієї демографічної групи під час пошуку фотографій керівників і генеральних директорів.

Відповідальне ML – це серія практик, спрямованих на уникнення цих пасток і забезпечення того, що системи на основі ML виконують свої наміри, одночасно пом’якшуючи ненавмисні чи шкідливі наслідки. За своєю суттю, відповідальний штучний інтелект вимагає продуманості та пильності протягом усього процесу розробки моделі, щоб забезпечити правильний результат.

Щоб допомогти вам розпочати, ми перерахували низку ключових запитань, які слід поставити під час процесу розробки моделі. Розмірковування над цими підказками та вирішення проблем, які з них виникають, є ключовими для створення відповідального ШІ.

1. Чи обрана мною система ML найкраще підходить для цього завдання?

Хоча спокусливо вибрати найпотужніше наскрізне автоматизоване рішення, іноді воно може не підійти для цієї роботи. Необхідно враховувати компроміси. Наприклад, хоча моделі глибокого навчання з великою кількістю параметрів мають високу здатність вивчати складні завдання, їх набагато складніше пояснити та зрозуміти порівняно з простою лінійною моделлю, де легше відобразити вплив входів на результати . Таким чином, під час вимірювання зміщення моделі або під час роботи над тим, щоб зробити модель більш прозорою для користувачів, лінійна модель може добре підійти, якщо вона має достатню ємність для вашого завдання.

Крім того, якщо ваша модель має певний рівень невизначеності у своїх результатах, імовірно, краще тримати людину в курсі, а не повністю автоматизувати. У цій структурі замість створення єдиного результату/прогнозування модель вироблятиме менш бінарний результат (наприклад, кілька варіантів або оцінки достовірності), а потім покладатиметься на людину, щоб зробити остаточний вибір. Це захищає від неправильних або непередбачуваних результатів, які можуть бути важливими для чутливих завдань (наприклад, діагностики пацієнта).

2. Чи збираю я репрезентативні дані (і чи відповідально я їх збираю)?

Щоб запобігти ситуаціям, коли ваша модель несправедливо ставиться до певних демографічних показників, важливо почати з даних навчання без упереджень. Наприклад, модель, навчена покращувати якість зображення, повинна використовувати навчальний набір даних, який відображає користувачів усіх тонів шкіри, щоб забезпечити хорошу роботу в усій базі користувачів. Аналіз набору необроблених даних може бути корисним способом виявити та виправити ці упередження на ранній стадії.

Крім самих даних, їх джерело також має значення. Дані, які використовуються для навчання моделі, повинні збиратися за згодою користувача, щоб користувачі розуміли, що їх інформація збирається та як вона використовується. Маркування даних також має виконуватися етично. Часто набори даних позначаються тегами оцінювачами вручну, яким призначаються граничні суми, а потім дані використовуються для навчання моделі, яка генерує значний прибуток у порівнянні з тим, що оцінювачі отримували спочатку. Відповідальна практика забезпечує більш справедливу оплату рецензентам.

3. Чи розумію я (і чи мої користувачі) як система ML...