打印

[新闻] NV 资深研究员详解 DLSS2.0 原理

huzhiyangqaz

魔头

欧喽君

帖子: 1329
精华: 0
积分: 16527
激骚: 1195 度
爱车
主机
相机
手机
注册时间: 2012-6-16

TGFC 2015新年勋章☆☆☆☆ TGFC 2016新年勋章☆☆☆☆ TGFC 2017新年勋章☆☆☆☆ TGFC 2018新年勋章☆☆☆☆ TGFC 2019新年勋章☆☆☆☆ TGFC 2020年度勋章☆☆☆☆ TGFC王者农药勋章★

发短消息
加为好友
当前离线

1^# 大中小发表于 2020-4-3 18:07 只看该作者

https://zhuanlan.zhihu.com/p/123642175

原来准备在 GTC 上的演讲现在放出来了，有挺多细节，这 DLSS2.0 的算法和我想象的区别挺大的

TOP

Lucifer6E

天外飞仙

帖子: 10722
精华: 0
积分: 32460
激骚: 1212 度
爱车
主机
相机
手机
注册时间: 2007-2-21

PS区 PS4主机首发纪念奖★ PS区大收藏家奖☆☆☆ PS区携带达人VITA命☆ 任区任饭认证☆☆

发短消息
加为好友
当前离线

2^# 大中小发表于 2020-4-3 18:58 只看该作者

集装箱那个视频好震撼

TOP

Search

魔头

帖子: 1529
精华: 0
积分: 1695
激骚: 9 度
爱车
主机
相机
手机
注册时间: 2018-5-4

发短消息
加为好友
当前离线

3^# 大中小发表于 2020-4-3 19:27 只看该作者

DLSS技术基本任天堂下个机种．会直接活用

包含ＡＰＩ．开发工具会直接搭载

现在是DLSS 2.0．之後还会再度改版升级

可以达成只运算５４０Ｐ　透过DLSS　升级画质效果比原生１０８０Ｐ还好

有限的ＣＰＵ达成高祯数

～对低功耗便携机来说．DLSS这助益相当庞大～

nvidia也有技术文说明任天堂ＮＳ如何移植巫师３．ＧＤＣ的报告

任天堂当年找nvidia签了２０年长约．不是没有原因的．ＣＰＵ再垃圾．还有ＧＰＵ能打

其实一些高端电视也有类似的技术

源自於ＣＥＬＬ的东芝超解像技术．但现在也不只有东芝才有

一些原生７２０Ｐ的东西．透过超解像达成清晰度提高而不模糊

[ 本帖最后由 Search 于 2020-4-3 19:28 编辑 ]

本帖最近评分记录

kyoyky 激骚 +1 好闪！ 2020-4-3 20:18

TOP

Tobar

永久禁止访问

天外飞仙

帖子: 13538
精华: 0
积分: 18866
激骚: 1238 度
爱车
主机
相机
手机
注册时间: 2008-3-15

PS区 2012新年白金奖☆☆☆☆ PS区携带达人VITA命☆ TGFC 2015新年勋章☆☆☆☆ TGFC 2016新年勋章☆☆☆☆ TGFC 2020年度勋章☆☆☆☆

发短消息
加为好友
当前离线

4^# 大中小发表于 2020-4-3 19:28 只看该作者

Posted by Xiaomi MIX 3
挺有意思，那这个神经网络学习完的海量成果，是放在驱动里面还是打包在游戏里面啊？

TOP

Lucifer6E

天外飞仙

帖子: 10722
精华: 0
积分: 32460
激骚: 1212 度
爱车
主机
相机
手机
注册时间: 2007-2-21

PS区 PS4主机首发纪念奖★ PS区大收藏家奖☆☆☆ PS区携带达人VITA命☆ 任区任饭认证☆☆

发短消息
加为好友
当前离线

5^# 大中小发表于 2020-4-3 19:42 只看该作者

这文章也没讲什么具体怎么实现的，就是把其他解决方案都数落了一遍

TOP

wjl1023

魔头

帖子: 1261
精华: 0
积分: 14275
激骚: 225 度
爱车
主机
相机
手机
注册时间: 2012-4-15

TGFC 2015新年勋章☆☆☆☆

发短消息
加为好友
当前离线

6^# 大中小发表于 2020-4-3 19:52 只看该作者

引用:

原帖由 Search 于 2020-4-3 19:27 发表
DLSS技术基本任天堂下个机种．会直接活用

包含ＡＰＩ．开发工具会直接搭载

现在是DLSS 2.0．之後还会再度改版升级

可以达成只运算５４０Ｐ　透过DLSS　升级画质效果比原生１０８０Ｐ还好

有限的ＣＰＵ达 ...

扯cpu干什么

TOP

ppkkhh

魔神至尊

帖子: 25160
精华: 0
积分: 99432
激骚: 670 度
爱车
主机
相机
手机
注册时间: 2005-9-11

TGFC 2014新年勋章☆☆☆☆

发短消息
加为好友
当前离线

7^# 大中小发表于 2020-4-3 19:55 只看该作者

posted by wap, platform: Android

引用:

原帖由 @Search 于 2020-4-3 19:27 发表
DLSS技术基本任天堂下个机种．会直接活用

包含ＡＰＩ．开发工具会直接搭载

现在是DLSS 2.0．之後还会再度改版升级

可以达成只运算５４０Ｐ　透过DLSS　升级画质效果比原生１０８０Ｐ还好

有限的ＣＰＵ达成高祯数

～对低功耗便携机来说．DLSS这助益相当庞大～

nvidia也有技术文说明任天堂ＮＳ如何移植巫师３．ＧＤＣ的报告

任天堂当年找nvidia签了２０年长约．不是没有原因的．ＣＰＵ再垃圾．还有ＧＰＵ能打

其实一些高端电视也有类似的技术

源自於ＣＥＬＬ的东芝超解像技术．但现在也不只有东芝才有

一些原生７２０Ｐ的东西．透过超解像达成清晰度提高而不模糊

20年长约是哪的消息？有来源嘛？

TOP

huzhiyangqaz

魔头

欧喽君

帖子: 1329
精华: 0
积分: 16527
激骚: 1195 度
爱车
主机
相机
手机
注册时间: 2012-6-16

TGFC 2015新年勋章☆☆☆☆ TGFC 2016新年勋章☆☆☆☆ TGFC 2017新年勋章☆☆☆☆ TGFC 2018新年勋章☆☆☆☆ TGFC 2019新年勋章☆☆☆☆ TGFC 2020年度勋章☆☆☆☆ TGFC王者农药勋章★

发短消息
加为好友
当前离线

8^# 大中小发表于 2020-4-3 19:58 只看该作者

posted by wap, platform: iPhone

引用:

原帖由 @Lucifer6E 于 2020-4-3 19:42 发表
这文章也没讲什么具体怎么实现的，就是把其他解决方案都数落了一遍

你没仔细看吧，我觉得能公开讲的已经都讲的很清楚了

本质原理和 taa 类似，同样是时序超采样，但里面的 Heuristic 算法从人手动设计换成了神经网络深度学习生成，所以多帧合成时能更好的利用各帧画面里的有效信息，最终效果就要比传统方法好上不少

TOP

huzhiyangqaz

魔头

欧喽君

帖子: 1329
精华: 0
积分: 16527
激骚: 1195 度
爱车
主机
相机
手机
注册时间: 2012-6-16

TGFC 2015新年勋章☆☆☆☆ TGFC 2016新年勋章☆☆☆☆ TGFC 2017新年勋章☆☆☆☆ TGFC 2018新年勋章☆☆☆☆ TGFC 2019新年勋章☆☆☆☆ TGFC 2020年度勋章☆☆☆☆ TGFC王者农药勋章★

发短消息
加为好友
当前离线

9^# 大中小发表于 2020-4-3 20:05 只看该作者

posted by wap, platform: iPhone
而且你看使用了 dlss2.0 后图形渲染的 pipeline，dlss 在后处理之前进行，所有的后处理效果都是全分辨率的，这也跟普通的抗锯齿和超采样算法区别很大

TOP

Lucifer6E

天外飞仙

帖子: 10722
精华: 0
积分: 32460
激骚: 1212 度
爱车
主机
相机
手机
注册时间: 2007-2-21

PS区 PS4主机首发纪念奖★ PS区大收藏家奖☆☆☆ PS区携带达人VITA命☆ 任区任饭认证☆☆

发短消息
加为好友
当前离线

10^# 大中小发表于 2020-4-3 20:06 只看该作者

引用:

原帖由 huzhiyangqaz 于 2020-4-3 19:58 发表
posted by wap, platform: iPhone
你没仔细看吧，我觉得能公开讲的已经都讲的很清楚了

本质原理和 taa 类似，同样是时序超采样，但里面的 Heuristic 算法从人手动设计换成了神经网络深度学习生成，所以多帧合成时 ...

DLSS1.0不就是这么干的吗，2.0怎么进化成这样的？用DLSS2.0的功耗有多少？

TOP

ginaamix

魔头

帖子: 1216
精华: 0
积分: 3182
激骚: 948 度
爱车
主机
相机
手机
注册时间: 2014-8-24

TGFC 2016新年勋章☆☆☆☆ TGFC 2018新年勋章☆☆☆☆

发短消息
加为好友
当前离线

11^# 大中小发表于 2020-4-3 20:08 只看该作者

posted by wap, platform: GOOGLE Nexus 4
https://tieba.baidu.com/p/6594606585

文刀秋二介绍DLSS的讲座录像
先总结下TAA的常见用途
1、边缘抗锯齿
2、高光抗锯齿/压制PBR高频闪烁
3、低分辨率拉伸到高分辨率
4、给简单的随机采样方法去噪/分摊渲染开销，比方说毛发，透明物体
5、给复杂的随机采样方法去噪/分摊渲染开销，比方说光追，体积光

DLSS能做到1，2，3，4
其中1，2，3秒杀TAA几个来回，4能做到什么程度不清楚，5做不到

DLSS 1.0（好像）只使用spatial信息，2.0开始使用temporal信息，所以效果好了一大截
输入和TAA差不多，其一是运动矢量，其二是输入图像也需要使用低差异序列做抖动，比如halton序列，此外要根据原生分辨率拉伸采样点
一个比较有意思的细节是即便在540p渲染，贴图也必须使用最高清的，或者说mip选择必须根据目标分辨率决定，否则DLSS会给你重建出糊的贴图

上文提到DLSS做不到5，这个会带来很多麻烦，以UE4为例，UE4里很多特性都依赖全局TAA去噪，如果换用DLSS之后必须改成每个特性使用单独的TAA pass，这样的话对有些引擎移植DLSS会带来不少工作量，这可能也是为什么DLSS的UE4版本是单独分支，因为要改不少地方。

这讲座没提到什么DLSS技术细节，更有价值的是对TAA的分析，英伟达同一个组上礼拜写了个TAA的综述可以看看，里面提到TAA的糊很大程度其实来源于color clamping，这我先前也不知道

TOP

achen126

魔神至尊

下山豹

帖子: 27182
精华: 0
积分: 27020
激骚: 497 度
爱车: 雅迪
主机: PCPS4NS
相机
手机: s9+
来自: 湖北
注册时间: 2008-9-4

TGFC 2020年度勋章☆☆☆☆

发短消息
加为好友
当前离线

12^# 大中小发表于 2020-4-3 20:08 只看该作者

posted by wap, platform: iPad
我感觉potplayer播720p的视频都像dlss技术，2k显示器看着观感挺好的！反而我把1080p同样码率的视频播起来观感还不如用它二压的720p，绝对是potplayer后台优化了的，亲测，我硬盘一堆毛片！好多低码率1080p的压到720反而画质更好

TOP

huzhiyangqaz

魔头

欧喽君

帖子: 1329
精华: 0
积分: 16527
激骚: 1195 度
爱车
主机
相机
手机
注册时间: 2012-6-16

TGFC 2015新年勋章☆☆☆☆ TGFC 2016新年勋章☆☆☆☆ TGFC 2017新年勋章☆☆☆☆ TGFC 2018新年勋章☆☆☆☆ TGFC 2019新年勋章☆☆☆☆ TGFC 2020年度勋章☆☆☆☆ TGFC王者农药勋章★

发短消息
加为好友
当前离线

13^# 大中小发表于 2020-4-3 20:12 只看该作者

posted by wap, platform: Chrome

引用:

原帖由 @Lucifer6E 于 2020-4-3 20:06 发表
DLSS1.0不就是这么干的吗，2.0怎么进化成这样的？用DLSS2.0的功耗有多少？

具体的算法细节不可能讲的吧，这属于核心技术了，nv 连发相关论文的计划都还没有

现在知道的就是这个进化步子迈的有点大，一下子从鸡肋变真香了

TOP

加州IT男

魔王撒旦

帖子: 5264
精华: 0
积分: 7625
激骚: 369 度
爱车: 日产
主机: 全机种制霸
相机: 哈苏
手机: 苹果
注册时间: 2014-7-3

TGFC 2015新年勋章☆☆☆☆

发短消息
加为好友
当前离线

14^# 大中小发表于 2020-4-3 20:14 只看该作者

posted by wap, platform: Chrome
任天堂次世代可以入场了

TOP

lrj2u

混世魔头

帖子: 2358
精华: 1
积分: 11596
激骚: 471 度
爱车
主机
相机
手机
注册时间: 2002-11-26

TGFC 2014新年勋章☆☆☆☆ TGFC 2015新年勋章☆☆☆☆ TGFC 2016新年勋章☆☆☆☆

发短消息
加为好友
当前离线

15^# 大中小发表于 2020-4-3 20:47 只看该作者

那下一代ns不就可以做到主机游戏的特效啦？ns做到1080p分辨率，然后540p渲染，这么低的负载压力，只要特效支持，那真是没什么压力了。看来任天堂都有光追了，游戏性的光追！

TOP