Ядрова регресія

У статистиці ядрова регресія (англ. kernel regression) — це непараметрична методика оцінки умовного матсподівання випадкової величини. Завдання полягає в тому, щоб знайти нелінійну залежність між парою випадкових величин X і Y.

У будь-якій непараметричній регресії умовне сподівання змінної ${\displaystyle Y}$ відносно змінної ${\displaystyle X}$ можна записати:

${\displaystyle \operatorname {E} (Y\mid X)=m(X)}$

де ${\displaystyle m}$ — невідомою функцією.

Надарая та Вотсон, обидва в 1964 році, запропонували оцінити ${\displaystyle m}$ як локально зважене середнє, використовуючи ядро як вагову функцію^[1][2][3]. Оцінка Надараї — Вотсона:

${\displaystyle {\widehat {m}}_{h}(x)={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{i=1}^{n}K_{h}(x-x_{i})}}}$

де ${\displaystyle K_{h}(t)={\frac {1}{h}}K\left({\frac {t}{h}}\right)}$ — ядро з пропускною спроможністю ${\displaystyle h}$ таке, що ${\displaystyle K(\cdot )}$ має порядок принаймні 1, тобто ${\displaystyle \int _{-\infty }^{\infty }uK(u)\,du=0}$ .

Запишемо визначення умовного математичного сподівання,

${\displaystyle \operatorname {E} (Y\mid X=x)=\int yf(y\mid x)\,dy=\int y{\frac {f(x,y)}{f(x)}}\,dy}$

ми оцінимо спільні розподіли ${\displaystyle f(x,y)}$ і ${\displaystyle f(x)}$ за допомогою ядрової оцінки густини з ядром K:

${\displaystyle {\hat {f}}(x,y)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i})K_{h}(y-y_{i}),}$

${\displaystyle {\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i}),}$

Отримуємо:

${\displaystyle {\begin{aligned}\operatorname {\hat {E}} (Y\mid X=x)&=\int y{\frac {{\hat {f}}(x,y)}{{\hat {f}}(x)}}\,dy,\\[6pt]&=\int y{\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})K_{h}(y-y_{i})}{\sum _{j=1}^{n}K_{h}(x-x_{j})}}\,dy,\\[6pt]&={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})\int y\,K_{h}(y-y_{i})\,dy}{\sum _{j=1}^{n}K_{h}(x-x_{j})}},\\[6pt]&={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{j=1}^{n}K_{h}(x-x_{j})}},\end{aligned}}}$

що і є оцінкою Надараї — Вотсона.

${\displaystyle {\widehat {m}}_{PC}(x)=h^{-1}\sum _{i=2}^{n}(x_{i}-x_{i-1})K\left({\frac {x-x_{i}}{h}}\right)y_{i}}$

де ${\displaystyle h}$ це пропускна спроможність (або ж параметр згладжування).

${\displaystyle {\widehat {m}}_{GM}(x)=h^{-1}\sum _{i=1}^{n}\left[\int _{s_{i-1}}^{s_{i}}K\left({\frac {x-u}{h}}\right)\,du\right]y_{i}}$

де ${\displaystyle s_{i}={\frac {x_{i-1}+x_{i}}{2}}.}$^[4]

Цей приклад базується на канадських перехресних даних про заробітну плату, які складаються з випадкової вибірки, взятої із записів Канадського перепису громадського вжитку 1971 року для осіб чоловічої статі із загальною освітою (13 клас). Всього 205 спостережень^{[джерело?]}.

На рисунку праворуч показано оцінену функцію регресії з використанням ядра Гауса другого порядку разом із межами асимптотичної мінливості.

Наведені нижче команди мови програмування R використовують функцію npreg() для реалізації оптимального згладжування та створення рисунка, наведеного вище. Ці команди можна вводити в командному рядку просто скопіювавши.

install.packages("np")
library(np) # non parametric library
data(cps71)
attach(cps71)

m <- npreg(logwage~age)

plot(m, plot.errors.method="asymptotic",
     plot.errors.style="band",
     ylim=c(11, 15.2))

points(age, logwage, cex=.25)
detach(cps71)

За словами Девіда Салсбурга, алгоритми, що використовуються в ядровій регресії, були незалежно розроблені та використані в нечітких системах: «З майже однаковим комп'ютерним алгоритмом нечіткі системи та ядрові регресії на основі густини, здається, були розроблені абсолютно незалежно одна від одної.»^[5]

• Пакет математичних програм GNU Octave
• Julia: KernelEstimator.jl
• MATLAB: на цих сторінках доступний безкоштовний набір інструментів MATLAB із реалізацією ядрової регресії, ядрової оцінки густини, ядрової оцінки функції небезпеки та багатьох інших (цей набір інструментів є частиною книги ^[6]).
• Python: клас KernelReg для змішаних типів даних у підпакеті statsmodels.nonparametric (включає інші класи, пов'язані з густиною ядра), пакет kernel_regression як розширення scikit-learn (неефективний з точки зору пам'яті, корисний лише для невеликих наборів даних)
• R: функція npreg пакета np може виконувати ядрову регресію.^[7]
• Stata: npregress, kernreg2

• Згладжувач ядра
• Локальна регресія

• Henderson, Daniel J.; Parmeter, Christopher F. (2015). Applied Nonparametric Econometrics (англ.). Cambridge University Press. ISBN 978-1-107-01025-3.
• Li, Qi; Racine, Jeffrey S. (2007). Nonparametric Econometrics: Theory and Practice (англ.). Princeton University Press. ISBN 978-0-691-12161-1.
• Pagan, A.; Ullah, A. (1999). Nonparametric Econometrics (англ.). Cambridge University Press. ISBN 0-521-35564-8.
• Racine, Jeffrey S. (2019). An Introduction to the Advanced Theory and Practice of Nonparametric Econometrics: A Replicable Approach Using R (англ.). Cambridge University Press. ISBN 9781108483407.
• Simonoff, Jeffrey S. (1996). Smoothing Methods in Statistics (англ.). Springer. ISBN 0-387-94716-7.

• Scale-adaptive kernel regression (для Matlab).
• Tutorial of Kernel regression using spreadsheet (для Microsoft Excel).
• An online kernel regression demonstration Requires .NET 3.0 or later.
• Kernel regression with automatic bandwidth selection (в Python)