Deep learning super sampling
Суперсемплінг за допомогою глибокого навчання (англ. deep learning super sampling, DLSS) — технологія масштабування зображення, розроблена компанією Nvidia. Вона підвищує частоту кадрів у вибраних відеоіграх, генеруючи кадри з нижчою роздільною здатністю, які потім масштабуються за допомогою алгоритму, отриманого шляхом глибокого навчання. Nvidia стверджує, що ця технологія збільшує масштаб зображень із якістю, подібною до якості зображення в рідній роздільній здатності, але з меншими навантаженнями на відеокарту[1]. Аналогом від AMD є технологія FidelityFX Super Resolution (FSR)[2].
Загальні принципи
На відміну від звичайного згладжування, що усуває зубці на краях ліній у кадрі шляхом «розмивання» пікселів, DLSS бере кадр у меншій роздільності та генерує на його основі новий, більшої роздільності, але з плавними та чіткими краями ліній. Такий підхід дозволяє зменшити навантаження на відеокарту, позаяк відпадає потреба аналізу кожного пікселя повнорозмірного зображення. Для цього використовуються алгоритми, отримані шляхом глибокого машинного навчання. Моделі DLSS навчені на суміші «ідеальних» кадрів у високій роздільності, й даних, взятих із конвеєра рендерингу гри. Відеокарта виробництва Nvidia задіює свої тензорні ядра штучного інтелекту, котрі аналізують попередні кадри, вектори руху у відео та інші дані, що формують кадр. Потім графічний процесор використовує цю інформацію для генерування нового кадра[3][4].
Подібна технологія Deep Learning Anti-Aliasing працює з кадрами в оргінальній роздільності. Вона орієнтована на вищу якість картинки і не створює типових артефактів DLSS, але не забезпечує такої ж високої частоти кадрів[5].
Історія
Історія релізів
| Реліз | Дата випуску | Основні моменти |
|---|---|---|
| 1.0 | Лютий 2019 | Перша версія, що використовує ШІ та спеціально навчена для деяких конкретних ігор, зокрема Battlefield V та Metro Exodus[6]. |
| 2.0 (перша ітерація) | Серпень 2019 | Перша версія 2.0, на яку також посилаються як версія 1.9, використовуючи приблизний ШІ незавершеної версії 2.0, що працює на ядрах шейдерів CUDA і спеціально пристосована для відеогри Control[7][8][9]. |
| 2.0 (друга ітерація) | Квітень 2020 | Друга версія 2.0, з використанням тензорних ядер і загальним навчанням[10]. |
| 3.0 | Вересень 2022 | DLSS 2.0, доповнена алгоритмом генерації кадрів оптичного потоку для подвоєння частоти кадрів[11][12]. |
| 3.5 | Вересень 2023 | Реконструкція променів, заміна кількох алгоритмів шумозаглушення однією моделлю штучного інтелекту, навченою на вп'ятеро більшій кількості даних, ніж DLSS 3[13][14]. |
| 4.0 | Січень 2025 | Багатокадрова генерація, нова модель штучного інтелекту на основі архітектури трансформера, що покращує стабільність кадрів, зменшує використання пам'яті та збільшує деталізацію освітлення[15][16]. |
| 4.5 | Січень 2026 | Динамічна генерація кадрів та покращена модель трансформера[17]. |
| 5.0 | очікується наприкінці 2026 | Модель штучного інтелекту на основі нейронного рендерингу, що створює фотореалістичне освітлення та поверхні матеріалів у реальному часі[18]. |
DLSS 1.0
Спочатку штучна нейромережа аналізувала тисячі високоякісних знімків екрану з ігор, кожен із 64-кратним згладжуванням, і порівнювала їх зі знімками без згладжування. Потім мережа створювала алгоритми, щоб зробити другі зображення якомога більш схожими на перші, використовуючи вихідні кадри нижчої якості. Мета полягала в вищій якості зображення без сильної шкоди частоті кадрів. Картинка, створена за допомогою DLSS 1.0, позбавлена таких артефактів згладжування, як розмиття по всьому екрану («замиленість» картинки), шлейфи за рухомими об'єктами, ореоли та помилки прозорості[19].
Технологія DLSS з'явилася в іграх Battlefield V та Metro Exodus[6]. DLSS 1.0 забезпечує приріст частоти кадрів до 70 % при фактичному збільшенні роздільності у 2 рази. Nvidia не підтверджувла чи є подвоєння роздільності межею для DLSS 1.0[19].
DLSS 2.0
DLSS 2.0 ефективніше використовує тензорні ядра, забезпечуючи кращу частоту кадрів і більше масштабування. Також аналізує вектори руху, порівнюючи кадри — так званий тимчасовий зворотний зв'язок, — щоб точніше передбачити фінальний кадр. DLSS 2.0 рендерить лише 25-50 % нових пікселів (11 % пікселів у режимі DLSS 2.1 Ultra Performance) і використовує нові методи для чіткіших деталей і кращої стабільності порівняно з оригінальною DLSS[19].
DLSS 2.0 може підвищити частоту кадрів на 2-3 рази, а роздільність — у 9 разів (у DLSS 2.1). При цьому підтримується динамічна зміна роздільності та VR-ігри[19].
Перелік ігор з підтримкою DLSS 2.0 був невеликий: Anthem, Battlefield V, Bright Memory, Control, Death Stranding, Deliver Us the Moon, F1 2020, Fortnite, Final Fantasy 15, Mechwarrior 5: Mercenaries, Metro Exodus, Minecraft, Monster Hunter World, Shadow of the Tomb Raider, Wolfenstein Youngblood[9].
DLSS 3.0
Доповнює DLSS 2.0, використовуючи інтерполювання руху. Алгоритм генерації кадрів DLSS бере два відрендерених кадри з конвеєра рендерингу і генерує новий кадр, який плавно переходить між ними. Таким чином, для кожного відрендереного кадру генерується один додатковий кадр. Це так звана «оптична генерація кадрів» (Optical Multiframe Generation). Прискорювач оптичного потоку (Optical Flow Accelerator) здатний відстежувати напрямок і швидкість переміщення пікселів між кадрами, а також фіксувати деталі на рівні пікселів, такі як частинки, відблиски, тіні та освітлення. Використовуючи вектори руху ігрового рушія та оптичний потік для відстеження переміщень, ШІ може точно відтворювати як геометрію, так і візуальні ефекти. З іншого боку, згенеровані кадри збільшують затримку введення, оскільки вони не створюються безпосередньо ігровим рушієм чи діями користувача. Через це в деяких іграх знижується чутливість керування. Окрема технологія Nvidia Reflex, яка працює в тандемі з графічним (GPU) та центральним (CPU) процесорами, зменшує затримку відгуку гри[20].
DLSS 3.5 додала до технології трасування променів алгоритм шумозаглушення на базі штучного інтелекту, що забезпечує точніше відтворення освітлення[20].
Порівняно з грою без використання DLSS, технологія DLSS 3 забезпечила понад триразове зростання частоти кадрів. DLSS 3 доступна лише для відеокарт Nvidia серії GeForce RTX 40[20].
Підтримку DLSS 3.0 отримали на старті 50 ігор, включно з Cyberpunk 2077, S.T.A.L.K.E.R. 2: Heart of Chornobyl, The Witcher 3: Wild Hunt, Warhammer 40,000: Darktide, Naraka: Bladepoint, Hogwarts Legacy, Diablo IV та інші[20].
DLSS 4.0
Використовує архітектуру Vision Transformer з механізмом самоуваги (self-attention), який оцінює відносну важливість кожного пікселя в межах усього кадру та в часовому вимірі. Модель має вдвічі більше параметрів, що забезпечує стабільніше зображення, зменшення ефекту «двоїння», кращу деталізацію та вдосконалене згладжування. Ця модель-трансформер вирізняється високою масштабованістю, її можна впровадити в ігри, що вже підтримують DLSS версії 2.0 або 3.0. Модель здатна працювати на всіх попередніх відеокартах RTX, починаючи з серії RTX 20[21].
Підтримку DLSS 4.0 отримали загалом 75 ігор, включно з Alan Wake 2, Cyberpunk 2077, Indiana Jones and the Great Circle, Star Wars Outlaws, Black Myth: Wukong, NARAKA: BLADEPOINT, Marvel Rivals, Microsoft Flight Simulator 2024, Black State, DOOM: The Dark Ages, Dune: Awakening[21].
DLSS 5.0
Технологія DLSS 5.0 використовує не тільки кадр, згенерований ігровим рушієм, а й дані, що формують цей кадр: просторову глибину, напрям освітлення, межі об'єктів. Це зберігає композицію, та водночас підвищує деталізацію, робить затінення й відбиття світла більш природним. DLSS 5.0 робить особливий акцент на реалізмі облич ігрових персонажів[4]. На великих планах система має достатньо даних, щоб забезпечити переконливий результат. Проте, коли камера віддаляється, модель отримує менше чітких орієнтирів, що призводить до появи графічних артефактів.[22]
DLSS 5 вперше домонструвалася на відеокартах серії RTX 5000, але заявлена підтримка і раніших. Неофіційно робота можлива на відеокартах серій RTX 3000 і 2000[23]. Першою грою, що офіційно підтримувала DLSS 5, стала NBA 2K27[24]. Але технологію DLSS 5 підтримуватимуть найбільші видавці та розробники ігор, зокрема Bethesda, CAPCOM, Hotta Studio, NetEase, NCSOFT, S-GAME, Tencent, Ubisoft та Warner Bros. Games[25].
Архітектура
Технологію DLSS підтримують виключно відеокарти, здатні відтворювати трасування променів[2]. DLSS доступна на графічних процесорах GeForce RTX 20, GeForce RTX 30, GeForce RTX 40 та GeForce RTX 50 у виділених ШІ-прискорювачах, оснащених тензорними ядрами (англ. tensor cores)[26][27].
Тензорні ядра доступні з часів мікроархітектури графічного процесора Nvidia Volta, яка вперше була використана в лінійці продуктів Tesla V100[28]. Їх специфіка полягає в тому, що кожне ядро працює на 16 бітах з матрицями з плаваючою комою 4 x 4 і, розроблено для використання на рівні CUDA C++, навіть на рівні компілятора[29].
Тензорні ядра використовують примітиви CUDA Warp-Level на 32 паралельних потоках, щоб скористатися перевагами їх паралельної архітектури[30]. Деформація — набір із 32 потоків, які налаштовані на виконання тієї самої інструкції.
Критика
DLSS 5 стала найсуперечливішою розробкою Nvidia. Після демонстрації критики зазнали надмірне висвітлення тіней (у стилі HDR), нереалістичний блиск шкіри та різкість рис облич. Звучали побоювання, що DLSS 5 нав’язує зображення, створені штучним інтелектом, знецінюючи роботу фахівців зі створення ігрових персонажів.[24][31] Глядачі називали вигляд персонажів надмірно гламурним і порівнювали DLSS 5 із фільтрами в Instagram чи Snapchat, що згладжують недоліки зовнішності.[31]
Портал IGN охарактеризував DLSS 5 як технологію, що нівелює художню складову дизайну відеоігор, роблячи скрізь однакове кінематографічне освітлення, і тим самим порушуючи оригінальну естетику.[32] Блог Engadget визнав негативну реакцію гравців цілком обґрунтованою, бо презентація відбулася в часи загального сцептицизму до генеративного ШІ. Хоча для певних ігор підхід DLSS 5 може бути доречним, приклади Nintendo та незалежних розробників для ПК доводять: можна створювати шедеври, що увійдуть в історію, не прагнучи реалізму.[33]
Див. також
- Масштабування зображень
- Глибоке навчання
- Тензорний блок обробки — спеціальна інтегральна схема (ASIC), прискорювач ШІ, розроблена Google
Примітки
- ↑ Nvidia RTX DLSS: Everything you need to know (англійською) . Digital Trends. 14 лютого 2020. Архів оригіналу за 2 листопада 2018. Процитовано 5 квітня 2020.
Deep learning super sampling uses artificial intelligence and machine learning to produce an image that looks like a higher-resolution image, without the rendering overhead. Nvidia’s algorithm learns from tens of thousands of rendered sequences of images that were created using a supercomputer. That trains the algorithm to be able to produce similarly beautiful images, but without requiring the graphics card to work as hard to do it.
- ↑ а б FSR, Scharon Harding A. basic definition of AMD (14 вересня 2021). What Is AMD FSR? FidelityFX Super Resolution Explained. Tom's Hardware (англ.). Процитовано 13 вересня 2026.
- ↑ DLSS: What Does It Mean for Game Developers?. NVIDIA Technical Blog (амер.). 19 вересня 2018. Процитовано 19 вересня 2026.
- ↑ а б Frye, Brendan (1 вересня 2026). NVIDIA's DLSS 5 Is Powerful, Strange, And Easy To Misunderstand (en-CA) . Процитовано 13 вересня 2026.
- ↑ NVIDIA DLAA Anti-Aliasing Review - DLSS at Native Resolution. Techpowerup. 22.09.2021. Процитовано 19.09.2026.
- ↑ а б Battlefield V DLSS Tested: Overpromised, Underdelivered. techspot.com. 19 лютого 2019. Архів оригіналу за 19 лютого 2019. Процитовано 6 квітня 2020.
Of course, this is to be expected. DLSS was never going to provide the same image quality as native 4K, while providing a 37% performance uplift. That would be black magic. But the quality difference comparing the two is almost laughable, in how far away DLSS is from the native presentation in these stressful areas.
- ↑ Remedy's Control vs DLSS 2.0 – AI upscaling reaches the next level. Eurogamer. 4 квітня 2020. Архів оригіналу за 4 квітня 2020. Процитовано 5 квітня 2020.
Of course, this isn't the first DLSS implementation we've seen in Control. The game shipped with a decent enough rendition of the technology that didn't actually use the machine learning
- ↑ Nvidia DLSS in 2020: stunning results. techspot.com. 26 лютого 2020. Архів оригіналу за 28 лютого 2020. Процитовано 5 квітня 2020.
- ↑ а б Edelsten, Andrew (30 серпня 2019). NVIDIA DLSS: Control and Beyond. nividia.com. Архів оригіналу за 10 квітня 2020. Процитовано 11 серпня 2020.
we developed a new image processing algorithm that approximated our AI research model and fit within our performance budget. This image processing approach to DLSS is integrated into Control
- ↑ NVIDIA DLSS 2.0 Review with Control – Is This Magic?. techquila.co.in. 5 квітня 2020. Архів оригіналу за 14 грудня 2020. Процитовано 6 квітня 2020.
- ↑ Introducing NVIDIA DLSS 3. NVIDIA (амер.). Процитовано 3 вересня 2026.
- ↑ Warren, Tom (22 серпня 2023). Nvidia’s new DLSS 3.5 works on all RTX GPUs to improve the quality of ray tracing. The Verge (амер.). Процитовано 3 вересня 2026.
- ↑ Editor, Will Judd Former Deputy Tech (23 серпня 2023). Nvidia announces DLSS 3.5 with ray reconstruction, boosting RT quality with an AI-trained denoiser. Eurogamer.net (англ.). Процитовано 3 вересня 2026.
- ↑ Warren, Tom (22 серпня 2023). Nvidia’s new DLSS 3.5 works on all RTX GPUs to improve the quality of ray tracing. The Verge (амер.). Процитовано 3 вересня 2026.
- ↑ NVIDIA DLSS 4 Introduces Multi Frame Generation & Enhancements For All DLSS Technologies. NVIDIA (амер.). Процитовано 3 вересня 2026.
- ↑ Khan, Sarfraz (14 січня 2025). NVIDIA Confirms Updated DLSS Frame Generation On RTX 40 GPUs, Leads to Lower VRAM Usage & Faster Performance. Wccftech (амер.). Процитовано 3 вересня 2026.
- ↑ NVIDIA DLSS 4.5 Ray Reconstruction Review - Transformer Improved. TechPowerUp (англ.). Архів оригіналу за 30 серпня 2026. Процитовано 3 вересня 2026.
- ↑ DLSS 5: Generative Neural Rendering. NVIDIA ADLR (англ.). 1 вересня 2026. Процитовано 3 вересня 2026.
- ↑ а б в г explained, Scharon Harding Nvidia's DLSS graphics (23 червня 2021). What Is Nvidia DLSS? A Basic Definition. Tom's Hardware (англ.). Процитовано 19 вересня 2026.
- ↑ а б в г Nvidia DLSS 3: explaining the AI-driven gaming tech. Digital Trends. 11.09.2023. Процитовано 19.09.2026.
- ↑ а б Mujtaba, Hassan (7 січня 2025). NVIDIA DLSS 4 Delivers An Insane 8x Performance Boost Versus DLSS 3 With Multi Frame Generation Technology, Enhanced Upscaling For RTX 20 & Above. Wccftech (амер.). Процитовано 18 вересня 2026.
- ↑ Foundry, Digital (18 березня 2026). DLSS 5: Game-Changing Tech That Poses Big Questions For The Future Of Gaming. Digital Foundry (амер.). Процитовано 13 вересня 2026.
- ↑ 'There's a genuine potential for DLSS 5 to be revolutionary': 5 reasons why I'm now way more excited about Nvidia's graphics tech. TechRadar (англ.). 6 вересня 2026. Процитовано 13 вересня 2026.
- ↑ а б DLSS 5 is somehow beautiful, ugly, impressive, and troubling all at the same time. PC Gamer (англ.). 1 вересня 2026. Процитовано 13 вересня 2026.
- ↑ NVIDIA DLSS 5 Delivers AI-Powered Breakthrough In Visual Fidelity For Games. NVIDIA (амер.). Процитовано 19 вересня 2026.
- ↑ NVIDIA DLSS 2.0: A Big Leap In AI Rendering. Nvidia. 23 березня 2020. Архів оригіналу за 10 грудня 2020. Процитовано 7 квітня 2020.
- ↑ NVIDIA TENSOR CORES. Nvidia. Архів оригіналу за 10 грудня 2020. Процитовано 7 квітня 2020.
- ↑ On Tensors, Tensorflow, And Nvidia's Latest 'Tensor Cores'. tomshardware.com. 11 квітня 2017. Архів оригіналу за 21 червня 2020. Процитовано 8 квітня 2020.
- ↑ The NVIDIA Titan V Deep Learning Deep Dive: It's All About The Tensor Cores. AnandTech. 3 липня 2018. Архів оригіналу за 9 листопада 2020. Процитовано 8 квітня 2020.
- ↑ Using CUDA Warp-Level Primitives. Nvidia. 15 січня 2018. Архів оригіналу за 14 березня 2020. Процитовано 8 квітня 2020.
NVIDIA GPUs execute groups of threads known as warps in SIMT (Single Instruction, Multiple Thread) fashion
- ↑ а б Ashworth, Boone; Larsen, Luke (20 березня 2026). Gamers Hate Nvidia's DLSS 5. Developers Aren’t Crazy About It, Either. Wired (амер.). ISSN 1059-1028. Процитовано 13 вересня 2026.
- ↑ Cardy, Simon (17 березня 2026). Nvidia DLSS 5 Is a Slap in the Face to the Art of Video Game Design. IGN (англ.). Процитовано 13 вересня 2026.
- ↑ Hardawar, Devindra (17 березня 2026). Gamers are right to be disgusted by NVIDIA's DLSS 5. Engadget (амер.). Процитовано 13 вересня 2026.
Джерело: стаття у Вікіпедії та історія редагувань (автори).