USTC Summer School 2021 Day3

引言

本次课程的内容涵盖几何建模、三维视觉、深度几何学习、城市大场景建模、点云处理、角色动画、3D打印、虚拟现实 、仿真、渲染、图形系统设计等内容,内容丰富和前沿,是了解计算机图形学前沿和未来方向的非常难得的机会。

《计算机图形学前沿进展》(课程编号:001M06)为中国科学技术大学暑期学期的课程。课程由数学科学学院中科大图形与几何计算实验室(GCL)陈仁杰老师刘利刚老师及国内外学者共同授课。本年度课程的主题为 “3D几何感知与建模、仿真和绘制” 。

课程安排

大规模城市场景三维重建

主讲人

申抒含,中国科学院自动化研究所模式识别国家重点实验室研究员,中国科学院大学人工智能学院岗位教授。2010年于上海交通大学自动化系获博士学位,研究领域为三维计算机视觉理论与应用,包括基于图像的大规模场景三维重建、智能机器人三维环境感知、场景三维语义建模等。在IJCV、IEEE TIP、IEEE TCSVT、ISPRS JPRS、Pattern Recognition、CVPR、ECCV、ICRA等国际期刊和会议发表论文60余篇。作为课题负责人主持和参与国家自然科学基金、973、863、中科院先导专项、以及华为、商汤、滴滴等企业课题十余项。入选中科院青促会会员、中科院自动化所特聘青年骨干,曾获2016年ACM北京新星奖、2018年中国图象图形学会科学技术二等奖。

简介

申抒含老师的课程题目是《大规模城市场景三维重建》。近年来,随着图像采集设备的不断进步,使用无人机、街景车、全景相机、手机等设备可以方便的获取海量高分辨率图像数据,如何通过这些图像数据构建我们身边的三维世界日益成为许多领域的迫切需求。

首先,申抒含老师介绍了基于图像的城市场景三维重建的基本框架、主要方法、最新研究进展等,包括三维几何重建、三维语义重建和三维矢量重建。

最后,申抒含老师介绍了三维重建技术在城市实景三维建模、无人车三维语义地图、室内建模与室内定位等领域的系统应用。

三维场景实时重建和在线语义分割

主讲人

黄石生,现为北京师范大学人工智能学院讲师,博士毕业于清华大学计算机系计算机图形学实验室,之后入清华大学计算机系博士后流动站从事博士后研究工作,研究方向为计算机图形学,近年来在几何形状分析、实时三维重建、视觉SLAM等方向上发表多篇论文,包括ACMSIGGRAPH、IEEE TVCG、IEEE CVPR、IEEE ICRA等计算机图形学、计算机视觉或者智能机器人等重要会议或者期刊。

简介

黄石生老师的课程题目是《三维场景实时重建和在线语义分割》。近年来,随着深度几何学习的飞速发展,三维场景的语义理解(场景分类,语义或实例级别分割等)取得了长足进步。但是基于深度学习的三维场景的几何重建进展还不多,此外,三维场景的在线语义分割等问题仍然没有得到有效解决。

黄石生老师首先介绍了实时三维重建和在线语义分割领域的基础知识,回顾和介绍该领域经典方法,并讲解基于深度几何表征的三维场景实时重建方法。然后,黄石生老师介绍了完全依靠深度几何表征进行实时地相机位姿估计和场景更新的当前SOTA的三维场景几何重建方法。

最后, 黄石生老师介绍了基于超体素卷积的三维场景在线语义分割方法,该方法首次在2D-3D联合学习层面取得当前SOTA的在线语义分割效果。

Rule-based Procedural Modeling forCreating Large-scale Virtual Worlds

主讲人

郭建伟,中科院自动化所模式识别国家重点实验室副研究员,硕士生导师。2016年博士毕业于中科院自动化所。主要研究方向为计算机图形学和3D视觉,包括三维几何建模与优化、形状分析及特征表示学习等。在主流期刊或会议上发表论文40余篇,其中以第一或通讯作者发表在国际期刊ACM TOG、IEEE TVCG、IEEE TIP、CAD及国际会议SIGGRAPH、CVPR、ECCV等论文20余篇,授权发明专利14项。获得形状建模国际会议SMI2014最佳论文提名奖、中国仿真学会2017年度优秀博士论文奖、中国图形学大会Chinagraph2018优秀论文奖、Computational VisualMedia (CVMJ)期刊2020年度最佳论文奖等。曾担任GMP2021、IEEE CAD/Graphics 2019/2021等国内外会议的程序委员会委员。

简介

郭建伟老师的课程题目是《Rule-based Procedural Modeling forCreating Large-scale Virtual Worlds》。过程式建模(Procedural modeling)是利用计算机自动生成数字内容的强有力工具,被广泛应用于城市建筑、树木植被、道路网、地形以及其他复杂场景对象的三维建模领域。过程模型有着强大的表达能力和良好的扩展性,其明显的优势在于建模效率和模型增强,只依赖少数的语法规则和少量参数,即可快速生成一组相似的几何模型变体。

郭建伟老师首先介绍了过程建模的基本概念、经典方法和建模过程中的生成控制,然后重点讲解了城市场景建模和树木植被建模方面的前沿工作。

最后郭建伟老师讲解了逆向过程建模,即如何从真实采集的数据中自动提取语法规则,以对几何形状进行过程式表示,并介绍了课题组在这一方面的工作进展情况。

结构化目标的三维建模

主讲人

陈雪锦,2008年于中国科学技术大学获得博士学位,2008-2010年于耶鲁大学计算机系从事博士后研究,2010年加入中国科学技术大学信息学院任副教授。2014微软亚洲研究院“铸星计划”访问学者、2017年2月-2017年8月美国斯坦福大学计算机系任访问副教授。主要研究方向为计算机图形学、三维视觉、脑显微图像分析。在ACM TOG、IEEE TVCG、TMI、ACM Multimedia等期刊会议上发表学术论文50余篇,承担国家科研项目10余项,曾获CVM期刊2019年度最佳论文提名奖。

简介

陈雪锦老师的课程题目是《结构化目标的三维建模》。近年来,越来越多的工作聚焦在三维目标的结构化表达、层次化解析和结构化生成,三维目标的结构化表达和结构先验能够大大提高各类深度神经网络的泛化能力。然而,如何对结构信息进行有效地表达并在深度神经网络中嵌入结构化约束是极具挑战的。

陈雪锦老师首先介绍了三维目标结构化的基础概念,然后详细讲解了在三维物体的结构化表达、重建和生成方面的技术发展历程。内容涵盖单视角场景深度估计,平面结构约束的三维重建,泛化的场景深度结构表达,基于部件的结构化物体建模等。

最后,陈雪锦老师介绍了结构化目标的三维建模方面的最新研究成果。