Регуляризація (математика)

Регуляризація, в математиці і статистиці, а також в задачах машинного навчання і обернених задачах, означає додавання деякої додаткової інформації, щоб знайти розв'язок некоректно поставленої задачі, або щоб уникнути перенавчання.

Регуляризацію використовують у задачах класифікації. Емпіричне навчання класифікаторів на скінченному набору даних завжди є недостатньо визначеною задачею, бо в загальному випадку ми намагаємось вивести функцію від довільного ${\displaystyle x}$ по декільком заданим прикладам ${\displaystyle x_{1},x_{2},...x_{n}}$.

Загалом регуляризуючий вираз ${\displaystyle R(f)}$ додається до функції втрат:

${\displaystyle \min _{f}\sum _{i=1}^{n}V(f({\hat {x}}_{i}),{\hat {y}}_{i})+\lambda R(f),}$

де ${\displaystyle V}$ — функція, що визначає похибку передбачення ${\displaystyle f(x)}$ для значень ${\displaystyle y}$, (наприклад, квадрати похибок), а параметр ${\displaystyle \lambda }$ визначає важливість доданка для регуляризації. Зазвичай ${\displaystyle R(f)}$ визначається як штраф за складність функції ${\displaystyle f}$. Зокрема, поняття складності включає обмеження на гладкість та на норму векторного простору.^[1]

Фактично, процедура регуляризації є спробою застосувати лезо Оккама до розв'язку (див. малюнок вище). З погляду баєсового висновування, багато технік регуляризації є накладанням обмежень на апріорний вигляд розподілу параметрів моделі.

Регуляризація може використовуватись як спосіб покращення узагальнення для моделі у машинному навчанні.

Основна задача машинного навчання полягає в тому, щоб знайти функцію, сумарна похибка передбачень якої для всіх можливих значень була б мінімальною. Очікувана похибка${\displaystyle f_{n}}$ виражається як:

${\displaystyle I[f_{n}]=\int _{X\times Y}V(f_{n}(x),y)\rho (x,y)\,dx\,dy}$

Зазвичай в таких задачах лише частина усіх можливих даних, частково зашумлених, є доступною для навчання. Таким чином, очікувана похибка є необчислюваною величиною, і найкраще наближення — це емпірична похибка, що вираховується на базі ${\displaystyle N}$ доступних зразків:

${\displaystyle I_{S}[f_{n}]={\frac {1}{n}}\sum _{i=1}^{N}V(f_{n}({\hat {x}}_{i}),{\hat {y}}_{i})}$

Без обмежень складності функціонального простору, в якому проводиться пошук, модель може бути навчена так, щоб відповідна їй функція проходила через кожну точку наявних даних ${\displaystyle x_{i}}$. Але якщо значення ${\displaystyle x_{i}}$ містять шум, то модель може "страждати" від перенавчання і видавати погані значення очікуваних помилок. Регуляризація вводить штраф за включення зайвих областей функціонального простору, що використовується для побудови моделі і це може покращити узагальнення.

При навчанні лінійною функцією, такою як ${\displaystyle f(x)=w\cdot x}$, в якій ${\displaystyle w}$ шуканий вектор, ${\displaystyle L_{2}}$-норма функції втрат відповідає регуляризації Тихонова. Ця, одна з найбільш використовуваних форм регуляризації, виражається як:

${\displaystyle \min _{w}\sum _{i=1}^{n}V({\hat {x}}_{i}\cdot w,{\hat {y}}_{i})+\lambda \|w\|_{2}^{2}}$

У випадку загальної функції, ми беремо норму функції у її гільбертовому просторі з відтворювальним ядром:

${\displaystyle \min _{f}\sum _{i=1}^{n}V(f({\hat {x}}_{i}),{\hat {y}}_{i})+\lambda \|f\|_{\mathcal {H}}^{2}}$

Оскільки норма ${\displaystyle L_{2}}$ диференційовна, то проблема навчання з використанням регуляризації Тихонова, може бути розв'язана градієнтним спуском.

Навчання з функцією втрат, вираженою методом найменших квадратів і регуляризація Тихонова можна розв'язати аналітично.

${\displaystyle \min _{w}{\frac {1}{n}}({\hat {X}}w-{\hat {Y}})^{2}+\lambda \|w\|_{2}^{2}}$

${\displaystyle \nabla _{w}={\frac {2}{n}}{\hat {X}}^{T}({\hat {X}}w-{\hat {Y}})+2\lambda w}$ ${\displaystyle \leftarrow }$ необхідна умова екстремуму

${\displaystyle 0={\hat {X}}^{T}({\hat {X}}w-{\hat {Y}})+n\lambda w}$

${\displaystyle w=({\hat {X}}^{T}{\hat {X}}+\lambda nI)^{-1}({\hat {X}}^{T}{\hat {Y}})}$

Відповідно до оптимізаційної задачи, інші значення ${\displaystyle w}$ будуть давати більші значення для функції втрат. Це можна перевірити за допомогою другої похідної ${\displaystyle \nabla _{ww}}$.

Цей алгоритм потребує ${\displaystyle O(d^{3}+nd^{2})}$ часу для тренування. Доданками тут є час на пошук зворотньої матриці і на обчислення ${\displaystyle X^{T}X}$, відповідно. Перевірка займає час ${\displaystyle O(nd)}$.

Рання зупинка може бути розглянута як регуляризація в часі. Загалом, такі методики як градієнтний спуск, мають тенденцію до створення все більш і більш складних функцій з часом. За допомогою регуляризації в часі складність моделі може контролюватися.

На практиці, для впровадження цієї методики, використовується додатковий валідаційний масив даних, статистично незалежний від того, що використовується для тренування. Модель тренується до тих пір, доки результативність на валідаційному масиві не перестає зростати. Після цього модель тестується на тестовому масиві.

• Виключення (нейронні мережі)

• A. Neumaier, Solving ill-conditioned and singular linear systems: A tutorial on regularization, SIAM Review 40 (1998), 636—666. Available in pdf from author's website.
• Rosasco, L. Regularized Least Squares, Class Notes from MIT 9.520. Link
• L. Rosasco, T. Poggio, A Regularization Tour of Machine Learning, MIT-9.520 Lectures Notes (book draft), 2015.
• Rosasco, L. Early Stopping, Class Notes from MIT 9.520. http://www.mit.edu/~9.520/fall15/Classes/early_stopping.html
• Rosasco, L. Sparsity, Class Notes from MIT 9.520. http://www.mit.edu/~9.520/fall15/Classes/sparsity.html
• Rosasco, L. Proximal Methods, Class Notes from MIT 9.520. http://www.mit.edu/~9.520/fall15/Classes/proxy.html