USTC Summer School 2021 Day4

引言

本次课程的内容涵盖几何建模、三维视觉、深度几何学习、城市大场景建模、点云处理、角色动画、3D打印、虚拟现实 、仿真、渲染、图形系统设计等内容,内容丰富和前沿,是了解计算机图形学前沿和未来方向的非常难得的机会。

《计算机图形学前沿进展》(课程编号:001M06)为中国科学技术大学暑期学期的课程。课程由数学科学学院中科大图形与几何计算实验室(GCL)陈仁杰老师刘利刚老师及国内外学者共同授课。本年度课程的主题为 “3D几何感知与建模、仿真和绘制” 。

课程安排

全局光照方法:20年回顾

主讲人

王贝贝,南京理工大学,副教授,硕士生导师,中国计算机学会CAD&CG专委会委员。主要研究方向是计算机图形学渲染方向,包括了全局光照算法、参与性介质光线传递和复杂材质模型等。王贝贝分别于2009年、2014年在山东大学获得学士、博士学位,期间在巴黎高科进行两年联合培养。2015年在英国游戏公司Studio Gobo参与Disney游戏Infinity 3的研发。2015年底到2017年初,在INRIA(法国信息与自动化研究所)从事博士后研究。之后加入到南京理工大学。共发表高水平论文30余篇,其中以第一作者在ACM TOG, IEEE TVCG, CGF上发表论文十余篇。担任EGSR 2021、 HPG 2021程序委员会委员。

简介

王贝贝老师的课程题目为《全局光照方法:20年回顾》。在全球电影动漫产业界追求“计算机特效”的今天,电影、动漫、游戏等产业对真实感绘制的需求也越来越高。全局光照模拟了光线在场景中传播的过程,对渲染真实感具有至关重要的作用,同时也是影响渲染效率的重要因素。

首先,王贝贝老师以电影《阿丽塔:战斗天使》为例介绍了计算机动画的主要课题,可以归结为物体存在需要几何建模、物体运动需要模拟、物体的表观需要渲染。接下来王贝贝老师详细介绍了什么是渲染。渲染是一个模拟的过程,通过求解渲染方程来实现,有两个关键,光照传输和着色。根据渲染方程的解法可以得到不同的渲染方法。场景复杂、材质复杂和光线传输困难等造成了渲染速度很慢。

然后,王贝贝老师介绍了渲染的分类方法,一是分为离线渲染和实时渲染,二是分为面渲染和体渲染;还介绍了光照传输类型,包括Color Bleeding、Glossy Inter-reflection、Caustics、SDS、SubsurfaceScattering等。接着王贝贝老师回顾了近二十年来的多种局部光照方法,包括离线的全局光照方法,比如蒙特卡洛方法、光子映射方法、基于点缓存的全局光照方法、虚拟光源方法等,也包括实时的全局光照方法,比如光照探针方法、预计算辐射亮度传递方法等,并详细分析了各自的优缺点。

最后,王贝贝老师对课程进行了总结,并讨论了目前在全局光照方向的研究热点。

下一代的真实感渲染:从路径跟踪到基于AI的路径跟踪

主讲人

王锐,浙江大学CAD&CG国家重点实验室教授,博士生导师。主要研究方向为图形渲染理论、算法与框架,在复杂光场高效采样、实时绘制架构与算法、渲染的自动优化等方面取得了一系列国际领先的科研成果。发表学术论文五十余篇,其中在SIGGRAPH、SIGGRAPH Asia(ACM TOG)上发表论文十余篇,授权专利三十余项。承担十余项国家纵向课题,并与国内多个企业开展横向合作。所研发的渲染相关技术与产品已成功应用于国内多家头部的游戏、互联网公司。

简介

王锐老师的课程题目是《下一代的真实感渲染:从路径跟踪到基于AI的路径跟踪》。

首先,王锐老师播放了奥斯卡最佳视觉效果提名短片,让同学们切身感受目前渲染技术发展的程度。接下来王锐老师回顾了真实感渲染器的发展历程,详细介绍了第一代渲染器Rasterization Reyes Architecture、第二代渲染器 Ray/PathTracing和目前的第三代渲染器AI-based Ray/Path Tracing,同时分享了王锐老师团队近年来的研究成果。

最后,王锐老师简要介绍了实时渲染,与真实感渲染不同之处在于它要求速度很快。王锐老师还介绍了下一代真实感渲染技术的特点和趋势。

DeepLearning for Rendering

主讲人

过洁, 南京大学计算机科学与技术系特任副研究员,目前主要研究方向为真实感绘制、实时绘制、复杂材质分析建模以及虚拟现实技术等。2013年毕业于南京大学,获得博士学位。2012-2013年在微软亚洲研究院网络图形组实习。发表学术论文40余篇,包括计算机图形学领域顶级会议/期刊ACM SIGGRAPH/SIGGRAPH ASIA、IEEE TVCG,视觉领域顶级会议CVPR、ECCV 等。

简介

过洁老师的课程题目是《 DeepLearning for Rendering 》。随着深度学习的火热发展,各类视觉任务的性能得到了大幅度的提升。在渲染领域,深度学习技术的使用刚刚起步,但是发展迅速。

首先,过洁老师讲解了渲染的流程,即提取一个三维空间场景的元素,如几何、材质、光源等,通过渲染器,产生一张图片或者图片序列(动画)。紧接着过洁老师详细讲解了几何、材质和光源这三个元素以及渲染过程中遇到的困难,包括高维度、不连续性、多模态、数据量大等。

然后,过洁老师详细介绍了深度学习如何应用到渲染过程,以及深度学习如何在一定程度上缓解前面提到的困难。过洁老师将深度学习在渲染中的作用总结为两个,一个是学习对场景元素进行编码表示,另一个是学习从一个域到另一个域的映射(函数)。第一个作用生成神经几何表示,神经材质表示、神经光源表示,从而生成神经场景表示。第二个作用可以起到去噪等效果。

最后,过洁老师展示了近几年他的团队的研究成果,并且展望了未来在基于深度学习的渲染方面的可能的研究方向。

可微分视觉信息采集建模

主讲人

吴鸿智,浙江大学计算机科学与技术学院副教授、博士生导师,国家优秀青年基金获得者。本科毕业于复旦大学,博士毕业于美国耶鲁大学。主要研究兴趣为高密度采集装备与可微分建模,研制了多套具有自主知识产权的高密度光源阵列采集装备,发表了ACM TOG期刊论文10余篇,合作出版了计算机图形学译著2部,主持了国家自然科学基金多个研究项目以及微软亚洲研究院合作项目。担任Chinagraph程序秘书长,中国图像图形学会国际合作与交流工作委员会秘书长、智能图形专委会委员,以及PG、EGSR、CAD/Graphics等多个国际会议的程序委员会委员。

简介

吴鸿智老师的课程题目是《可微分视觉信息采集建模》。如何对物理世界中的物体几何、材质等高维视觉信息进行高效、高质量的采集是计算机图形学与视觉中的经典难题。可微分采集建模通过把物理采集和计算重建同时映射到可微分流水线上,使得对整个采集建模过程进行高效、全自动的软硬件联合优化成为可能,和已有工作相比显著地提升了采集建模的效率和质量。

首先,吴鸿智老师详细介绍了物体外观以及如何数字化表示物体外观。接下来讲解了镜面反射模型BRDF、Microfacet-Based模型,并简要介绍了各项同性的BRDF、漫反射模型等参数化模型。

然后,吴鸿智老师讲解了可微分采集建模的概念。紧接着吴鸿智老师重点介绍了他的团队从2018年至今发表在ACM SIGGRAPH/SIGGRAPH Asia 上的三篇文章,分别为《EfficientReflectance Capture Using an Autoencoder》、《LearningEfficient Illumination Multiplexing for Joint Capture of Reflectance and Shape》和 《Free-form Scanning of Non-planar Appearance with Neural TracePhotography》。

最后,吴鸿智老师阐述了未来的研究方向。