Поле руху

Поле руху (англ. motion field) у комп'ютерному зорі — двовимірне векторне поле, що описує миттєві швидкості руху проєкцій точок тривимірної сцени на площині зображення. Для кожної точки зображення поле руху задає вектор швидкості, з якою переміщується проєкція відповідної точки сцени внаслідок відносного руху об'єктів і камери.^[1]

Поле руху є геометричним описом проєкції фактичного руху сцени та безпосередньо із зображень не спостерігається. На відміну від нього, оптичний потік визначають за видимими змінами яскравості або інших властивостей зображення між послідовними кадрами. За певних припущень оптичний потік може наближати поле руху, однак вони можуть відрізнятися через зміни освітлення, відблиски, однорідні ділянки зображення, оклюзії та проблему апертури.^[1]

Нехай точка тривимірної сцени має координати ${\displaystyle 𝐱(t)=(x_1,x_2,x_3{)}^{𝖳}}$, а модель камери задає її проєкцію на площину зображення функцією ${\displaystyle 𝐲=𝐦(𝐱)}$:

${\displaystyle \left(\begin{array}{c}{y}_1\\ y_2\end{array}\right)=\left(\begin{array}{c}{m}_1(x_1,x_2,x_3)\\ m_2(x_1,x_2,x_3)\end{array}\right)}$

Якщо положення точки відносно камери змінюється з часом, змінюється й положення її проєкції. Вектор швидкості цієї проєкції

${\displaystyle \left(\begin{array}{c}\frac{d{y}_1}{dt}\\ \frac{d{y}_2}{dt}\end{array}\right)=\left(\begin{array}{c}\frac{d{m}_1(x_1,x_2,x_3)}{dt}\\ \frac{d{m}_2(x_1,x_2,x_3)}{dt}\end{array}\right)=\left(\begin{array}{ccc}\frac{d{m}_1}{d{x}_1}& \frac{d{m}_1}{d{x}_2}& \frac{d{m}_1}{d{x}_3}\\ \frac{d{m}_2}{d{x}_1}& \frac{d{m}_2}{d{x}_2}& \frac{d{m}_2}{d{x}_3}\end{array}\right)\left(\begin{array}{c}\frac{d{x}_1}{dt}\\ \frac{d{x}_2}{dt}\\ \frac{d{x}_3}{dt}\end{array}\right)}$

є значенням поля руху в даній точці зображення. Сукупність таких векторів для всіх видимих точок сцени утворює двовимірне векторне поле ${\displaystyle 𝐮(𝐲,t)}$. Таким чином, поле руху описує не просторову швидкість точки безпосередньо, а швидкість її проєкції на площині зображення.^[2]

За ланцюговим правилом зв'язок між просторовою швидкістю точки та полем руху можна записати як

${\displaystyle 𝐌\dot{𝐱},}$ де ${\displaystyle 𝐌}$ — матриця Якобі проєкції розміру ${\displaystyle 2\times 3}$. Тому різні просторові рухи можуть давати однаковий рух на зображенні. Зокрема, для центральної проєкції складова руху точки вздовж променя, що проходить через оптичний центр камери, сама по собі не спричиняє зміщення її проєкції.

Оптичний потік є оцінкою поля руху, отриманою з видимих змін зображення. Поле руху визначається геометричним рухом проєкцій точок сцени, тоді як оптичний потік описує спостережуване переміщення деталей зображення, тому ці поля не обов'язково збігаються.^[1]

Наприклад, однорідна поверхня може рухатися, не спричиняючи помітних змін зображення. Для краю або іншої одновимірної структури з локальних даних можна визначити лише складову руху, перпендикулярну до краю — це явище відоме як проблема апертури. Навпаки, зміна освітлення, тіні або відблиски можуть створювати видимий рух без відповідного руху точок поверхні. Додаткові розбіжності виникають поблизу оклюзій, де точки сцени з'являються або зникають між кадрами.^[1]

• Оптичний потік
• Оцінка руху
• Структура із руху
• Візуальна одометрія
• SLAM (метод)