Переобладнання та сильна версія закону Гудхарта

Підвищення ефективності іноді може несподівано призвести до погіршення результатів. Це правда майже скрізь. Ми назвемо це явище сильною версією [закону Гудхарта](https://en.wikipedia.org/wiki/Goodhart%27s_law). Наприклад, більш ефективний централізований моніторинг успішності студентів через стандартизовані тести здається такою гарною ідеєю, що закони з добрих намірів [забезпечують її виконання](https://en.wikipedia.org/wiki/No_Child_Left_Behind_Act). Проте тестування також спонукає школи зосереджуватися більше на навчанні учнів добре тестувати, а не на навчанні широко корисних навичок. Як наслідок, це може призвести до погіршення загальної успішності в школі. Подібних прикладів безліч у політиці, економіці, охороні здоров’я, науці та багатьох інших сферах. Такий самий суперечливий зв’язок між ефективністю та результатом спостерігається в машинному навчанні, де його називають переобладнанням. Переобладнання ретельно вивчено, дещо теоретично зрозуміле та має добре відомі пом’якшення. Цей зв’язок між сильною версією закону Гудхарта загалом і переобладнанням у машинному навчанні забезпечує нове об'єктивно зрозуміти погані результати та нові ідеї, щоб їх виправити. Переобладнання та закон Гудхарта =========================== У машинному навчанні (ML) **переобладнання** є поширеним явищем. Ми хочемо навчити модель ML для досягнення мети. Ми не можемо безпосередньо адаптувати модель до цілі, тому ми навчаємо модель за допомогою *подібного* проксі-сервера до цілі. ![](/assets/cartoon-conversation.png width="300px" border="1") Наприклад, як випадковий дослідник комп’ютерного зору, мій іноді мета полягає в тому, щоб довести, що моя нова модель класифікації зображень працює добре. Я досягаю цього, вимірюючи його точність після запиту щоб позначити зображення (це зображення кішки, собаки, жаби, вантажівки чи ...) стандарту [тестовий набір зображень](https://paperswithcode.com/dataset/cifar-10). Мені заборонено тренувати мою модель на тестовому наборі даних (це було б шахрайством), тому я замість цього навчаю модель на *проксі* наборі даних, який називається навчальним набором даних. Я також не можу напряму націлити точність передбачення під час навчання [^accuracytarget], тому замість цього я націлююсь на *проксі* ціль, яка пов’язана лише з точністю. Отже, замість того, щоб тренувати мою модель для мети, яка мене цікавить, — точності класифікації на наборі тестових даних — я замість цього треную її за допомогою *проксі-цілі* на *наборі проксі-даних *. Спочатку все йде так, як ми сподіваємося - проксі покращується, а оскільки мета схожа на проксі, вона також покращується. ![](/assets/cartoon-early.png width="444px" border="1") Продовжуючи оптимізувати проксі-сервер, ми зрештою вичерпуємо придатну для використання подібність між проксі-сервером і ціллю. Проксі стає все кращим, але мета стає все кращою. У машинному навчанні ми називаємо це переобладнанням, але це також приклад закону Гудхарта. ![](/assets/cartoon-mid.png width="444px" border="1") [Закон Гудхарта](https://en.wikipedia.org/wiki/Goodhart%27s_law) стверджує, що *коли показник стає цільовим, він перестає бути хорошим показником*[^strathern]. Гудхарт запропонував це в контексті монетарної політики, але це стосується набагато ширше. У контексті переобладнання в машинному навчанні це описує, як проксі-ціль, яку ми оптимізуємо, перестає бути хорошим показником цілі, яка нас цікавить. Сильна версія закону Гудхарта: коли ми стаємо надто ефективними, те, про що ми дбаємо, стає гіршим =========================== Якщо ми продовжуємо оптимізувати проксі-лінзу, навіть після того, як наша лінза перестане вдосконалюватися, станеться щось більш тривожне. Ціль часто починає *погіршуватися*, навіть якщо наша проксі-ціль продовжує покращуватися. Не тільки трохи гірше - часто лінза розходиться в нескінченність. Це [надзвичайно](https://www.cs.princeton.edu/courses/archive/spring16/cos495/slides/ML_basics_lecture6_overfitting.pdf) [загальне](https://www.cs.mcgill.ca/~dprecup /courses/ML/Lectures/ml-lecture02.pdf) [феномен](https://scholar.google.com/scholar?hl=en&q=overfitting) у машинному навчанні. Немає значення, якою є наша мета та проксі, або яку архітектуру моделі ми використовуємо [^overfittinggenerality]. Якщо ми дуже добре оптимізуємо проксі-сервер, ми робимо його проксі ще гіршим. ![](/assets/cartoon-late.png width="444px" border="1") Хоча це явище часто згадується, його, здається, не називають [^notoverfitting]. Назвемо це **сильною версією закону Гудхарта** [^сильний ненавмисний]. Ми можемо сформулювати це так: > *Коли міра стає ціллю, > якщо він справді оптимізований, > тоді те, що він повинен вимірювати, стане гіршим.* Закон Гудхарта говорить, що якщо ви оптимізуєте проксі, зрештою мета, яка вас цікавить, більше не покращуватиметься. Сильна версія закону Гудхарта відрізняється в тому, що в ньому сказано, що якщо ви надмірно оптимізуєте, ціль, яка вас цікавить, не просто перестане покращуватися, але скоріше буде рости...