GAMES-图形学系列笔记-五十二-

GAMES 图形学系列笔记（五十二）

GAMES401-泛动引擎(PeriDyno)物理仿真编程与实践 - P9：9. 工程CAE仿真连续介质力学基础 - GAMES-Webinar - BV15M4y1U76M

呃大家好，那我们现在八点钟时间到了，那我们这个开始。

我们今天晚上的这门课程的学习哦，还是我们game 401发动引擎，物理仿真编程与实践这门课，那么啊我是接下来接着何晓伟老师来上海，我是来自湖南大学曼系软件的蔡永，呃，那么我们今天讲的是工程师一连续仿真。

介质力学的一个基础好，我们首先，这个学习一下，就是说从物理仿真和这个c a仿真的，它的一个区别就在前面，何晓伟老师讲的，可能更多的是围绕着是我们c一仿真的，这样的一个层面来进行呃。

从这个物理仿真的层面来进行讲解的，那么物理法则和ca法则的一个区别是什么，比如说我们来看现在图片中展示的，这几个动画是吧，可能我们要模拟仿真的都是讲解的，是，都是要模拟。

像这样子一个汽车碰撞的这样的一个过程，那么在这个屏幕的这个左边是吧，就像一个游戏的一个界面啊，它就是采用了我们物理仿真的一个引擎对吧，在游戏里面进行一个汽车碰撞的一个模拟，那么在右边的话。

那么则是我们采用c a一仿真，也就是c a e软件来进行汽车碰撞的一个仿，一个仿真，那么大家可以观察一下，它的两个的一个区别是什么，那么也就是说对于物理仿真和c1 ，反正来说的话。

我觉得主要是从几个层面我们可以进行评判啊，第一个是在这个计算精度啊，计算精度这一个方面，那么应该来说ca一仿真的话，他应该是面向于，因为c a仿真其实前面应该说是两个字啊。

工业c a一仿真或者是工程c a一仿真，也就是说它是用到了工业和工程这种哦，这样的一个领域和这个场景中来的，那么也就要求它的计算的精度非常高，那这里所谓的这个计算精度。

其实是指我们采用计算机模拟仿真的这个手段，实际这种物理现象，和我们做物理实验所得到的一些数据，他们之间的一个对比啊，我们称为是我们这种c a仿真的一个计算精度，比如说我们要去评判某一个，比如说在汽像。

在汽车碰撞过程中，我们要去评判某一个零部件，它发生变形的一个情况，那么我们可能就会引入位移，这样子一个评判的一个标准，也是它发生了位移的一个量，或者是它的变形，一个变形的量，那么在c房子里面。

他对于这个的要求会非常高啊，会非常高，它要求跟实际的物理现象发生的，这个这个情况是是是需要更吻合一些，相对于物理仿真，也就是说它的计算精度是要高于物，理仿真的精度，那么再一个就是计算效率这个方面。

计算效率是c e仿真，他其实对计算效率要求也有非常高的，这样的一个呃标一个标一个标准，当然对于物理仿真来讲的话，那么它的要求就会更高一些对吧，比如说我们在请写一些啊啊游戏里面啊，比如在一些游戏里面。

我们要能够实时的去得到一些物理现象是吧，比如我的车已经撞已经撞已经撞毁了，好像就是我们这样一个玻璃的，挡风玻璃被破坏了等等之类的，那么他要做到一个实时性，但是对于cae仿真的话。

它是很难去做到一个实时性的，就好让大家去看到了，我们在右手边，这个汽车碰撞的这样一个过程对吧，虽然说它所模拟的可能只是一秒啊，就是从汽车开始接触这样的一个刚性强大，发生这个形变可能也就是一秒啊。

是最多最多就是一秒吧，甚至是零点几秒的这样的一个时间，但是我的计算机计算通常会需要速几个小时啊，甚至以前的话，我们可能需要几天的时间把它给算完，所以这个是在计算效率方面的一个区别。

另外一个我觉得也是非常重要的，就是在结果数据量的这样子一个层面，对于物理仿真可能我们更多的是关注于，比如说对于图像图形形式的一个实时渲染，和一个显示，但是对于c一仿真的话。

因为我们要指导工程设计而进行优化的设计，那我们就需要把整个这样的一个发生形变，变形的这样一个过程中，所有的数据要全部都记录下来，也就是说比如大家看到上面这样的一个，我们汽车的发动机的前前舱。

是发生了非常大的一个变形啊，它的吸能盒，它的性能量都发生非常大的一个变形，那么围绕着这个性能和它所有的一些位移，它受力的一些情况，包括他受到一些能量的一些情况，我们是要全部把它记录下来的。

所以也就是说对于我们z一仿真，可能我短短的直视这样子，一秒钟的一个仿真的时间，我用我需要采用几个小时，甚至几天的时间来进行计算，那么得到的数据量通常是数时机，甚至是数百级的这样的一个量级啊。

甚至是这样的一个量，一个量一个量级，因此也就是说总结一下，就是说c a一仿真相比物理仿真的话，它的计算精度更高一些，要求更高，那么它需要能够真实地去表达，我们的物理性现象，真实的物理现象。

另外一个它的计算的效率，肯定是比不上物理仿真的，它的计算速度会比较慢一些，因为它的计算量是非常大，它会涉及到对整个几何模型的一个，真实的建模标，包括对它的材料的本质的一个真实的一个表。

一个表一个表征和表达，所以它的计算量是很大，另外就是c一法则，还有一个结果数据的这样一个概念，同时c法则还有一个后处理的一个概念，这个我们到后面再讲，那么在今天在这样一个机会，也是跟大家一起来学习一下。

我们从前面基于我们攀登了去做物理仿真，然后逐步的上升到我们怎么来g判断呢，来做c a一的仿真分析，来开发一些我们c a一的一些软，一些分析计算的软件，和一些关键的一些功能的模块。

那么今天我将主要从这四个方面，可能大家更多的前面关注的都是图形学相关的，一些领域，所以我今天主要是讲解的，围绕c一方面的一些内容，做一些引入和一些科普性的一些讲解，然后简单的介绍一下。

我们目前基于这个pelo已经做了一些什么事情，然后，这其中就包括于对c一分析中的一些，关键的技术技术，c的一些它的软件的一个形态，和它软件开发的一些难点，以及我们cia技术啊。

目前发展的一个趋势的一个情一个情况，那么首先我们来看从物理仿真到c一仿真，那么什么是c一仿真，c a一的话其实就是计算机辅助工程，computer id engineering。

那么它主要是针对这种实际的工程问题，比如说前面我们的动画里面所演示的，像汽车碰撞啊，现在土木里面的一些塔吊的折断，我们健体的一船舶里面一些舰体的一些锻炼，甚至在我们航空航天里面。

一些航空器的着陆啊等等这样的一些问题，那么我们是通过所有这样一个真实的一些，物理的场景，我们首先要建立一个几何的一个模型，那么在这个里面可能又针对于我们物理场景，法则又有一些不太一样。

因为在这个c一房子里面，其实我们更刚更关注，于是我们物理场景中的某一个个体，比如说在这个上面，我们体现出来的是一个汽车碰撞，两车碰撞，在一个公路上，两车碰撞的这样一个物理场景。

但是我们实际上要分析计算的，可能只是我们汽车这样的一个个体，那我们首先就要基于这个汽车碰撞，去建立我们几何的一个模型啊，这个跟我们物理仿真也是一样，我们首先要有一个几何的一个模型，只是说在物理仿真里面。

可能更多的是o b g2 等等一些格式，那么在几何模型里面，在ca里面可能会采用像专门的一些机械啊，或者是工业三维建图的一些软件，像ug啊，像训练works，像卡贴啊等等这样的一些软件来进行建模。

得到一个几何的一个模型，然后我们基于这个几何模型，我们要建立网格的一个模型，当然这个也跟物理仿真也类似啊，那么接下来我们就要施加边界，及我们的一个边界条件，那么这个就是非常重要的。

施加载荷和它的一个边a边界条件，这个就是非常重要的一个步骤，就是我们要告诉你哪些地方是受到的约约束，哪些部件可动，绕着我们的六个自由度是吧，x y z x y z的转动和xyz的这个屏动。

这六个自由度哪些自由度是能动的，哪些自由度是不能动的，是在一定的约束，或者是给这个汽车要施加一定的力，或者是一定的速度是吧，使它能够动起来，这样子一些等等的一些载荷或者是边界条件，然后我们再去进行。

我们采用c a软件进行一个仿真的一个分析啊，得到1d系列的仿真的数据啊，那么这些数据他要起到非常关键的一个作用，它是要去指导我们实际工程产品的一个研发，也就是说工程师j c软件分析完之后。

得到的很多的数据，那么他要经基于这些数据去进行，大量的一些分析，然后提出一些改进的方案，比如说我们在这个汽车里面，大家在买车啊，以前在这个汽车里面，可能都听到我们的汽车是碰撞的声音，cap的五星级是吧。

四星级或者三星级，那么为了达到更高的一个碰撞的一个，星级的标准，那么在汽车的设计研发过程中，就需要用到ca软件进行反复的仿真分析，然后不断的去找到它的一个薄弱点啊，比如说我在发现诶某某一个地方这个变形。

在发生汽车碰撞的时候，它的变形量侵入量是比较大的好，那么就说明这块我可能需要进行一定的改进啊，那么这个就要提出改进设计的一个方案，最终来帮助工程师去解决问题，获得最佳的一个设计啊。

那么像这个就是我们整个c a一的，它的一个作用，它是起到这样的一个，来缩短我们整个的研发周期啊，为什么在公司里面要用的是a1 ，对不对，因为4a一它可以替代物理实验，因为我们前面讲过4a1 。

它对计算机度要求很高，它可以达到物理这种我做实际的物理实验，也就是我做汽车碰撞，我拿电脑去模拟一个汽车碰撞，和我实际中我拿一个车去做碰撞实验，他的计算精度可以达到80%，90%。

那我就可以指导我们公司研发的，那就可以收到我们的这个研发的成本，当然更重要，也就是说可以降低我们的成本是吧，缩缩短我们的周期。

然后降低我们的一个成本啊，那么这个是谁学习相关键的一个这个作用，也就是说我们的工程师一分析，它主要是用于预测和优化我们的产品，设计和制造性能啊和制造性能，那么我们再来看一下。

也就是说我们在一系列的我们前面讲过，c a分析，它是取代物理实验对吧，比如说我们还是以汽车为例啊，啊因为蔡老师我是来自于湖南大学啊，整车先进设计制造国家重点实验室啊，就是我们的软件。

可能更多的是面向于汽车这个领域，所以我在讲解的时候，可能很多的一些例子都是以汽车为为例啊，就跟大家先说明一下，那么比如说我们做一个物理实验，在汽车的研发过程中，我们需要去做到一个汽车车身啊。

大家注意到这个车身就是这样一个模型啊，就是说这个车身是指什么呢，就是整个汽车的车壳子，而去掉大家熟知的汽车的发这个发动机啊，它的一些底盘呢，它的轮胎压等等驱动系统之后，整个的车壳子。

我们要去去做它的一个抗弯刚度的一个实验，或者是抗扭啊，给他一个扭转的一个力，抗扭刚度的一个实验，以及我们讲的汽车碰撞的一个实验，那么对于像这些实验的话，我们都有对应的cae仿真技术来进行替代。

比如说我们可以采用ca软件，进行看望刚度的计算啊，就可以替代我的看望刚度实验，那么我也可以采用抗扭刚度的这样仿真分析计，算来解来替代我们车身抗扭刚度的一个实验来，汽车碰撞前面已经讲过了对吧。

那么我们可以发现我们采用4a仿真分析之后，得到的是一个这样子的一个图是吧，是一个有一定物理量的一个云图，那么这个云图可能就是表征的，就是我，比如说这是一个运e位移的一个云图是吧，那就告诉你。

我在这样的一个车身抗扭转刚度实验过程中，我哪些地方的刚度是比较差的是吧，我的刚度是比较差的，那么就需要工程师去进行改进啊，那么这个也是讲解什么是c一分析，那么c分析的话。

通过前面的讲解它的功能我们已经基本明白，那么它的作用主要就是改变我们产品的一个，开发的流程，也就是说在我们传统的像汽车呀，高铁呀，船舶工程机械啊，这样的一些工程化的工业产品当中的，设计流程中。

一般最开始是采用的，比如说我们从产品的规划啊，到产品的设计好，到产品的研制，然后到实验验证，然后再到生产出来对吧，这样是一个基本的主线，但这样一个主线过程中存在一个问题啊，就是你设计的产品。

不一定一下子我的性能就达标是吧，不管是我产品的一些物理的性能刚强度啊，模态啊，或者是我的一些疲劳稳定性的一些性能，那么我们就需要通过去做实验，进行反复的修改对吧，做完实验之后发现哪里不对。

然后我这样返回到设计阶段再进行一个修改，那么这是传统的设计流程，那么在引入c a一之后，那么这个方式就发生了一定的改变，那么这个改变主要是体现在一个方面对吧，大家可以发现从上面的流程到下面流程。

那么在产品设计的后面，我们就多了c a e的这样一个流程，在这里这样一个节点，也就是说我们在产品设计完成之后，我们就可以引用我们的c a e的软件，或者是cia的技术，对我们已经设计完成的这个产品。

进行验证和优化对吧，我在计算机里面进行仿真的分析，发现问题再去改进我的设计对吧，这个时候我就不需要每次改一个地方，就要把我的产品设置好，设置，就是说我根据设置图图片，先尝试性的制造一个产品出来对吧。

我不需要这样一个流程，我不需要去做物理实验啊，那么这样子的话，就能够去采用更短的一个开发的一个时间，去获得一个更优的一个设计方案，以及更可靠的一个设计质量，来得到一个更低的一个开发的一个成本啊。

开发的一个成本，但是呢在c一的发展的这个过程中，其实c技技术啊，如果大家在平时也接触过的话，其实他现在各个行业中的应用也是非常的广泛，也就在汽车行业的人中，他基本上已经像宝马啊之类的。

基本上都是可以完全采用数字化的模型，采用ca技术来进行一个车型的一个开发，也就是说它可以把整个开发过程中的产品设置，产品的实验可以完全不需要啊，我不需要去设置，我基于数模，基于ca技术所开发的产品。

就是符合我目标性的要求的，那么它的发展的趋势，也就是说它不是一个辅助设计的一个工具啊，而是说它是完全融入到我们产品的正向研发过，程中进行引导的一个设计，那么比如说在汽车里面是吧，那么c1 。

它在汽车里面的应用就非常的非常的广，非常的广泛，比如说我们可以在c一的这样一个工具啊，我们可以进行环境舒适性的一个评估，大家想想我平时坐在车里面，可能这种啊房间舒适做的比较好的车。

你会觉得哎呀这种空调吹起来也很舒服，坐在里面隔音也非常的舒服，然后它的减震降噪的性能都非常好是吧，车机做的很舒服，那么其实像这样子一个舒服这样的一些指标，我们都是可以用cad的工具来进行模拟和仿真。

分析的，那么第二个就是安全性啊，这刚才讲过了，第三个就是人机工程，人机工程是什么意思，就在汽车里面啊，我这个车的坐姿是很舒服对吧，我的车我的方向盘，我开我的手去操作方向盘，去操作各种档。

把操作各种按钮的舒适度是否顺手是吧，是否会跟我的一些运动轨迹产生一些干涉，其实这跟人机工程是相关的，那么这个也是可以采用c软件来进行分析的啊，当然还有包括最传统的结构的分析对吧。

前面就讲过我这个结构它的刚度啊，强度是吧，它所谓的刚度嘛，通俗讲就是它够不够硬对吧，它的硬度是不是足够强度嘛，就是它够不够稳定对吧，够不够稳，够不够稳定，那么对于这样的一些性能的一个分一个分析。

当然还有一块，比如说我们进行一些工程设计，工程设计和我们工艺的一个分析，所谓的工业飞机就是我汽车在设置完之后，我要把它加工出来，加工的话，那么在汽车里面，可能就有各种各样的一些加工的工艺。

比如说我们车身的冲压呀，我们发动机缸体的铸造啊，等等这样的一些加工的工艺，那么这个工艺加工过程，就会涉及到很多工艺的参数，那么这些参数也是可以采用ca分析的技术，来进行分析获取啊，来指导工人怎么来进行。

我们整个车身和汽车的一个制造，那么还有一个我们讲到的，就是这个虚拟实验对吧，这个虚拟实验是什么意思啊，大家就想象着我们在玩一个这种游戏是吧，我们玩极品飞车啊等等之类的。

那么好像就是在一个虚拟场景中去开一个汽车，在这个路上操纵它进行跑对吧，但是呢像这种游戏中的跑，可能有更多的还只是在物理法中的这个层面，对吧，就是分析一下我这个车身，简单的一些变形啊等等之类的。

简单的一些把图像的现象把它表达出来，那么对于这样子一个cee仿真的话，那么它的就会更细致一些，它也是模拟为一个汽车，在一个环境中实际在跑啊，更多的是在一些道路上，那么他这个跑不是白白的跑。

而是说它要分析出来，比如说我一个汽车在这样的一个道路上面，跑了几万公之后，我汽车的各种性能指标，比如说它的一个疲劳的那疲劳的一个程度对吧，也就是说我有没有开裂的地方，因为我们知道有一些结构件。

比如说我老是长期处在一定的震动当中，是一定的一定的这种震动当中的话，那么这个结构就有可能会发生裂纹，会开裂，那么虚拟实验的话，它就是采用cg技术，就把我们整个首先要把我们整个道路的数据。

那么这个道路的数据，那么就不仅仅说只是说我这个道路的一，个图像对吧，而是说我这个道路实际上坑坑洼洼的一些水，一些特一些特征是吧，坑坑洼洼的一些特征，我们全部都融入到我们这个里面来啊，融入到我们这个里面。

然后在这个汽车，在这样的一个道路数据上进行模拟的一个运行，来进行虚拟实验，来评判它的一个相关的一些性能指标，那么具体来讲的话，这个可能嗯大家第一次接触到cae分析的话，可能有些抽象啊。

但是也要有必要让大家先嗯大概的先了解一下，要不然我们到了后面讲到具体的一些，力学的基础啊，和程序开发的时候，可能大家也不太良，也不太理解理解这样一个模块啊，或者说它的一个工程应用价值啊。

或者他的目的是做什么，那么首先我们前面讲的就是汽车结构，强度和刚度的分析，这个我已经讲过是吧，大家理解强度就是它硬不硬，刚度就是它稳不稳啊，这样子一个，那么再一个就是模态把模特的话，其实主要是属于。

当然它属于动力学分析的一个领域啊，也就是说他解决的就是我们汽车结构一个振动，噪声的一个问题啊，大家就考虑到诶我坐在这个车里面，这个车的仅能造是降噪的能力怎么样是吧，隔音是否是好的。

那么当然还有一些响应的一个分析啊，那么这个就比如说对应到我前面讲的这个啊，虚拟实验对吧，我们整个汽车在一个汽车道路的路口上面，进行运行的时候，它的一个疲劳的分析，那么当然更重要的还涉及到很多温度场的一。

个计算啊，我们现在嗯像传统的燃油发动机对吧，我们要对整个发动机的温度场的来进行计算，包括对它的散热进行一个评估对吧，我一个温度是怎么分布的，那么我的散热是否能够保证，我的汽车零部件都在一个比较安。

可靠的温度的范围之内，当然也包括包括什么，我们在这个汽车里面比一些空调啊，等等一些对于人体舒适性，温度相关的这样的一些分析，那么再一个就是我们讲的，振动噪音的一个分析是吧，振动噪音的一个分析。

这里的振动噪音的分析，可能更多的是关注于在空腔里面，比如说我们在汽车里面我生产的一个分布啊，生产的一个分布，也就是说我通过这样的一个分析，我可以知道在我设计出来的这个汽车里面，诶。

我每一个地方它的噪音在运行过程中，它的噪音是怎么分布的，哪里的噪音比较小，哪里噪音比较大对吧，我也可以指导我的产品的一个设计，那么最后还有一个，那么这个通俗讲就是我们对它分组的一个模拟，对吧。

分组的一个模拟，那么我们为了提高我们的燃油的经济性啊，尤其是在我们的电动汽车是吧，我们电动汽车为了提高它的一个呃，降低它一个能量的一个下一个消耗是吧，那我们就尽量的降低我们汽车的这样的一个。

风阻的阻力啊，分组的系数，那么这个一个改进的话，我们就是也可以采用汽车，也就是我们俗称的cfd流体的分析啊，当然在我们的物理法则里面，我们也会用到ph等等这样一些方式，来进行流体的一个仿真。

在工业设一仿真分析里面，可能用到的是像呃f e m吗，或者f v m啊，或者是这种啊b方法会用的相对多一些。

那么当然还有就是我在前面讲过很久的，就是汽车结构碰撞和冲击分析对吧，比如说像这里就是模拟到我们侧碰对吧，我一个汽车设计完之后，当侧面受到了一个撞击之后，我汽车受损的一个情况对吧，受损的一个情况。

然后根据受损的情况再去考虑，如何来指导和改进我的一个开发，那么再就是这种工艺的分析啊，就是汽车零部件的这样子，一个冲压的成型分析等等对吧，我们整个汽车汽车啊，大家在这门课里面。

我们也可以学到很多跟汽车相关的知识对吧，我们汽车的车壳子，大家看到的那个汽汽车车身的那个外，各种非常漂亮，非常美观的这个外形，其实它一开始是有一整块平的这样子一个钢板，平的一个钢板，然后通过冲压啊。

就通过模具，我们讲的汽车的模具，通过两个模具去压我中间的这一个钢板，大家是吧，我两个模具具有一定造型的模具，去压这一个钢板，那么就会导致这个钢板，就会发生这个形状的变化对吧。

就可以达到跟模具的形面一样的这个形状出来，那么这个就是我们汽车车身加工制造的这样的，一个方法，我们叫做冲压成型，那么这样一个过程，我们也是可以采用我们这种3d软件，来进行分析，就像这种图片可能不太清楚。

但是简单的看一下，就是说比如说我如果分析出来全部是绿色的，那那就说明当前这个工艺设计的非常好，采用这种工具去加工的话，我整个汽车的特征都是能够加工出来的，但是如果说有别的颜色，特别是当出现红色的时候。

那就说明这个是有问题的，比如说标红色的地方，变红色的地方可能就代表什么，代表我在加工过程中，这个地方可能会开裂对吧，因为它会涉及到一个钢板的很大的一个变形嘛，会开裂。

或者说会分析到这个地方可能是有这个啊，钢板会挤压到一起去产生一定的皱纹，一个褶一个褶皱啊，这个是对我们对工艺分析去分析啊，当然还有这个流这个流体分析前面讲过了，对于我们这个外流场的一些分析等等。

当然还包括我们汽车结构的可靠性的一个，分析分析，那么以上所有的分析在c领域中，它最终的话其实我们还有一类工业sa软件，我们叫做多学科的优化设计软件，那么也就是说。

我们如何帮我们通过c a分析所得到的数据啊，我们反哺到我们的结构优化设计当中来，就做到汽车结构的一个优化设计，那么大家就可以看得出来对吧，从物理仿真我们讲解了更关注的点，可能跟我们cae仿真的关注点。

还是不太一样的是吧，从精度，从效率，从对于数据文件的要求可能是不太一样，那么我们也发现诶，c技术它在我们工业产品开发中，其实是非常重要的，是起到了非常重要的一个作用，那么在这样一个情况中啊。

就是我们作为一个研究者是吧，我们一个学习者，那我们就要思考一些问题对吧，就好像我们已经在学物理仿真的时候，也会考虑类似的问题，首先是c是吧，它是否有具有理论上的一些缺陷，第二个就是生意，他能否模拟。

或者说它是如何去模拟出完全实际的情况对吧，不知道大家现在脑子里有没有这么几个问号，第三个就是说，我们该如何去正确的认识十个亿啊，同时也包括，我们如何去正确的使用我们的ca软件对吧。

这样的几个关键的问几个关键的问题，因此我们首先接下来我们就来一起来探索，学习一下cae分析中的一些关键的技术，那么ca分析的话，其实它最基本的流程是分为有三个部分，其实我觉得一个物理场景也是有类似的。

而我们首先是前处理，所谓的前处理的话，它是包括我前面讲过对吧，前面一个流程我们是进行几何的一个建模，然后根据这个模型我们进行网格的剖分，然后我们再去加载它的一个载荷，和它的一些边界的条件。

那么接下来呢我们就在进行求解啊，那么这个就是c一仿真分析的一个，非常重要的一个部分，那么就包括涉及到根据不同的问题，我们可能就上热及到，比如说有固体力学的求解，有升学的求解，有热血的求解，有光学的求解。

有电磁学的求解，还包括有cfd流体力学的求解对吧，各种求解根据问题的不同，需要进行不同的一个求解啊，不知道这个里面有没有，大家所感兴趣的一些知识点啊，那么对于每一个求解啊，比如说我们对于固体力学的求解。

我们就会要需要采用到固体力学的求解器，那么对于升学，我们可能就涉及到有声学的求解器，那么对于每一个求解器，它又由这样子一个比较复杂的模块所构成，比如说包含有数字算法和我们的单元，计算的理论。

我们材料的本构模型，这个材料的本构模型起到什么作用呢，就是用来模拟我们真实的物理的性质，比如说我这个对象我是钢的，是铁的是吧，还是铝的，还剩布料还是木头，还是木头是吧，还是水泥啊。

这个就是通过材料本构模型来进行模拟，然后就是接触算法啊，这个就很重要，要去表征，其实在物理场景中会经常用得到对吧，只是表征两个物理，去检测两个物体是否发生有接触啊。

我们的接触算法当然还有一些面向于非线性，一些大变形问题计算的非线性迭代技术，这个我们暂时不提，大家有个印象，接下来就是连接与约束的关系对吧，这个也就是说我整个的一个汽车。

其实它是由上万个零件所构成的对吧，那么我们在实际的建模过程中，我们并不能把这3万个零件就当成一个整体，对吧，我们要是分为不同的零部件，从零件到部件再到整机啊，这样子一个关系通过连接把它连接。

通过连接关系把它连接起来的，那么再就是边界与载荷条件的加载是吧，这个也涉及到很多的处理的方式，这个我们到后面讲到具体的啊，力学基础啊，可能会介绍一些相关的内容，那么再一个就是求解啊。

我们整个模型怎么把它计算出来是吧，这个要涉及到我们一个方程组的求解，以及我们的并行计算技术对吧，这个在物理方程中非常重要，我们要通过gpu并行啊，cpu并行啊，多合并行啊，来提高我们的一个计算的效率嘛。

那么同样的像这一系列大家所熟知的，在物理场景中用的非常广泛的并行计算技术，它也能够用到我们的c a e的里面来对吧，比如说我们用ka直线gpu的并行啊，c一计算的一个gpu并行，这都是没问题的。

那么第三块就是我们的后处理啊，后处理，那么这个就涉及到对吧，我们要通过我们计算求解所得到的一些结果，得到一系列的图，比如说前面大家看到的云图啊，比如说这里有一些流线图啊，矢量图啊，矢量图啊。

或者是一些数据啊，一些曲线等等是吧，曲线等等这样子一些工作，那么通过这样的一个架构图，不知道大家现在有没有想到，我们ca分析跟panamo我们的发动引擎对吧，他们之间的一个关系是什么，对不对。

再想想是不是有点类似是吧，老师你这个不也就是基于节点，我们可以在发动运行在pda里面，做到我们一个增量的集成开发是吧，也可以去搭建出这样子，一个c a一仿真计算的一个流程出来对吧，这个就是我们讲的。

so you can mesh，和这个synl和这个kda他们之间的一个关系，当然细展开来讲的话，这个我就呃稍微快一点点，这个就比较比较专业，那么比如说我们讲到在c一分析里面中。

我们讲的第一大块是它的数值算法和单元理论，对吧，当然有些数字战法大家都很熟悉啊，包括我们在腾讯里面用的比较多的spa血压，还有npm吗，还有r b m，那么图形这个cad和caa一体化。

我们所提出来的就是说，因为前面这些分析可能都需要有，特定的一些模型数据，但是在这里的话，我们可能考虑到，我能不能直接基于cad的模型来进行cad的分析，那可能就有对应有一些等级合法。

i g a或者是其他的一些啊这种边界源啊，这种b m等等这样的一些计算的一个方法啊，那么从这个单元来讲的话，又分为有一维单元，平面单元，实体单元，板壳单元，特殊单元等等这些是吧。

那么所有的单元是个什么意思啊，大家现在先卖个关子，但是可以给大家一个基本的认识，其实有限元的单元，就等于我们在物理仿真中，会涉及到的一些网格是吧，我们的mesh啊，我们的mesh。

我们的网格或者是我们讲的是片源啊，每一个片源啊，每一每每个片源，那么其实这个对于有限元里面，它就对于我们讲的是单元的这个概念，那么根据我这个片源，我的这个网格它的形状不同，那就可以分为一维单元。

比如说是感单元啊，梁单元，那么根据它如果是三角形或者是四边形，我们就可以称为它是一种三角形或者四边形的，平面单元，那么如果他是个实体，比如说四面体，六面体，三棱柱，四棱柱。

那么它就可以是一些实体单元等等，当然在cia的计算过程中，也涉及到一些常用的一些特殊单元，比如说我们的钢铁单元是吧，钢铁单元就是我把整个这个模型作为一个刚体，它是无变形的对吧，它是无变形的，它是个缸体。

那么还有一些弹簧啊，我们在进行弹簧仿真的话，我们也会引入专门的一些弹簧单元，引入到我们在里面来进行一个计算等等，那么再一个就是我们的材料模型啊，材料模型其实这个跟物理仿真的话。

就有非常高度的一个接一个啊，等一个懂同性的对吧，我们在物联房子里面有这一套，比如超弹性的一些材料啊，连弹性的一些材料当然也会有一些啊，超嗯这些弹性啊，或者是弹塑性啊等等这样的一些材料。

那么在这些材料里面，其实在ca反应中，它也是按这么来分类的，只是说我们在进行材料本科计算的时候，可能我们在这里会有一个更高精度的一个，材料本科模型，能够融入到我的整个ca分析当中来，它主要是描述什么。

描述我们应力和应变他们之间的一个行为对吧，就是我的应变和应力他们之间的一个行为关系，就是通过材料模型来进行表征的，啊我看到有这个同学在里面，说到这个自动驾驶的一个仿真是吧，其实啊自动驾驶的仿真的话。

在我们caa里面，它更多的是处于这种多体动力学的这样的，一个领域，也就是说像现在有常用的像adam啊这样子一些呃，cee仿真的一个软件，就可以建立出，包含有汽车主要的一些传动部件的这样子。

一个多体动力学的一个模型出来，那么我就可以模拟在操作我的汽车，在道路上在行驶的时候，那么我的一些转向啊，这些行驶的过程中，我汽车的一些侧倾啊，和它稳定性的一些分析等等，就说我设计完汽车的整个的这些。

传统的结构之后，我可以去模拟，当我快速进行转弯，快速行驶的时候，我的结构的反应是否是灵敏的对吧，然后他的整个的结构是否是比较好稳，比较稳定的啊，不能说我设计完之后，当高速过弯的时候。

我的汽车就会啊呃就会侧翻啊等等，那么这些也是可以把它模拟出来，那么到了自动驾驶仿真的话，那么这就涉及到我们现在讲的，在这种互联网加的这样一个时代，做到了一个多领域的一个协同啊，多领域的一个协同。

像我们我带的有些学生做毕业设计，本科毕业设计的时候，就会做到类似的一些题目对吧，比如说我在一个汽车道路里面，我有一个v to x的一些传感器啊，我可以检测到旁边是否有一些障碍物，或者是我通过图像识别。

识别出前面是否有障碍物，然后把这些障碍物的一个信息反馈出一个信号，反馈出一个信号，到我所构建的这样一个动力学的模型当中，重力的模型当中，然后他去驱动我们的汽车，发生一个操作的一个指令。

然后就进行整个自动驾驶的一个模拟啊，这个ca技术也是可以做到的好，那么回答这个问题，我们再又回到我们，这个是这个ca分析的一个关键的一个技术啊，所以方向分析关键的一个一个技术，就是我们讲的有限元方法。

就是finite element mess，就是有限元的方法，那么它是求解我们数学物理的，一种基本的计算方法，它主要是取决于我们固体的一个力学，然后迅速的构扩展到我们的流体啊，全热啊。

电池啊等等这样的一个领域，那么所谓有限元方法，它的一个基本的概念，他就是用数学近视的一个方法，对真实的物理系统进行一个模拟啊，虽然我前面讲过，我们4a仿真分析的计算精度。

所需要得到的一些计算结果的数据啊，是要高于物理仿真的，高于物理仿真是吧，但是实际上cia一仿真，比如说像用到的有限元这个技术，他也称之为，我们称之为是一种工程中的数字计算方法，是一种工程的数字计算方法。

所谓工程的数值方法，就代表它是满足于我们实际工程需要的，那么它就代表什么，代表它要有一个非常高的一个普适性，普适性，也就是说我对于很多的问题，我要能够去计算计算，那么这个时候就要牺牲什么。

牺牲一定的精度，它还是会牺牲精度，但他牺牲的是相比我们真实情况，也就是说比如说我们去算一个数学公式啊，比如说我计算1+1=2对吧，这是一个数学的一个计算过程中，它是非常精确的，它是有精确解的啊。

它的结果就是正确的，是真实的，但是我们如果说诶，我们采用一定的方法去构建一个计算流程，去算1+1等于多少的时候，如果用工程中的计算唉，我去设定一个算法，那么算完之后它可能结果不是等于二是吧。

他可是等于1。9999，也就是它可能存在有0。01的误差，但是呢这种误差我们认为在工程中，它是可以用的，它是可以指导我实际工程研发的，那他就没问题啊，他就没问题，他就可以满足我实际工程的需要。

虽然它的精度不是百分之百啊，那么像有些人就是一类典型的这样子一个方法，那么它的一个分析的步骤，主要是包括结构的离散化，再到单元的分析，再到整体的分析啊，这个先抛出这三个关键词，我们一一的来讲解。

首先我们要了解在c一的软件中，最常用的有限元法的实现了，基本它的一个基本第一步，我们就是要进行离离散，离散离散是什么意思呢，就是我们要把原来的一个连续体，比如说我们看到的一个整体对吧，大家就想一想。

我一个足球表面对吧，它本来是一个整体的一个圆圆的一个表面，它是个连续的，但是我们在足球里面经常都会画很多格子是吧，黑白的格子，那么其实这个就是把这样的一个圆的表面，进行了离散对吧，就得到了一个离散体。

当然这样子一个思路在我们古代很早就有啊，比如说我们进行这个圆周率的求解等等，那么大家现在所看到的下面这几个模型啊，尤其是我们看得更为直观的，比如说我们在呃右手边的这几个模型对吧。

那么这个就是我们已经离散过的一些，有限元的一个模型，就它原来是吧，比如说像这样的一个钢铁模型，它本来就是一个整体，但是我们用的四面体的这样子，一个前面讲的单元的概念，我们进行离离离散。

得到很多一些小的这样的一个区域啊，小的一些模型，有小的特征去进行我们完整特征的一个近视啊，这个就是我们讲的有些人的离散的这样的，一个干一个概念嗯，那比如说还举一个例子。

比如说我们在这里是一个真实的七这个系统啊，就是一个t一个梯子，那么对于像这样一个梯子的这样子，一个模一个模型，我们在实际的有限元分析中，我们会怎么去做呢，怎么去做，我们就会去构建出像这样的一个有限元的。

一个模型啊，大家就可以看得出来，这两个模型虽然看起来很像，但是实际上可能就不太一样对吧，我真实的系系统我是有几根木柱子啊，这个板子啊是吧，这些所构成的一个楼梯，但是我在有线模型里面。

我就是有这种线段和这些红色的点所构成的，这样的一个模型，那么这样的一个模型，就囊括了我们有限元分析里面，所涉及到的一些基本的概念啊，比如说在这个里面，我们每一个在有限元模型这个图里面啊。

我们每一个黑色的这样子一个线段，他们我们就称之为是一个单元啊，它就是一个单元，那么两个单元之间啊，或者是多个单元之间，或者说单元和单元之间，大家可以看到，它都是通过一个红色的点所连接是吧。

那么在这个里面，我们就是说把它称之为是一个节点啊，是一个节点，那么节点它是能够承受一定的载荷，是具有一定的自由度，也就是说我们在这样的一个节点，它在一个空间中，像我前面讲的是包括x y z3 个平动。

三个转动的这样子六个自由度是吧，它是可以活动的，大家想一想是不是我整个系统它的一个运动，它的活动就完全可以通过节点来进行牵引的，对吧，你通过我的节点来进行一个牵引，一个牵引啊。

那么当然这个里面在有些人里面，还有一个比较重要的概念，我们就叫做自由度的一个概念啊，自由度的一个概念，也就是说像我整个这样一个模型，他整个具有多少个自由度对吧，比如说我有两个节点。

我俩我每个节点都有六个自由度，那么我整个模型就有三个自由度啊，就是有12个自由度，那么像这种，我们就是说通过将这种复杂的几何进行分段啊，就说我们比如说对于一维的问题，就像这样子一个几何，它是一个线段。

那我们通过的几何离散呢，就是把它分为若干个线段对吧，那么他它采用的这个几何离散的，一个基本的构建，就是我们这样子一个单元啊，就是这样一个线段的一个单一个单元，那么对于二维问题对吧。

二维问题比如说像这样子一个圆形，这样一个椭圆形啊，那么我们基于也同样可以进行，几何的一个离散对吧，画成像中间这个图这样子，那么它采用的软构件，就是说像这样的一个三角形的软构件对吧。

我们通过单个三角形的离散啊，可以拼接成我们整个原来的这样的一个模型，那么对于三位问题也是类似的对吧，三位问题也是类似，我们就可以通过像这样子一个，比如说像这样子一个六面体对吧。

六面体我们也可以把我们的几何模型离散成，由若干个六面体所构成一个模型，当然在这个里面我们可以看得出来是吧，比喻以二维问题为例，我们离散之后的模型跟我原来的模型之间，其实是一个近视的关系对吧。

它并不是一对一，完全是吻合的，在这个边界上面对吧，毕竟我们是用这种直线来去拟合一个曲边，它就肯定会有一定的误差的存在对吧，这就回应到我们前面讲的有限元的基数，他这种近似的求解技术对吧。

近似的一个求解技术，也就是说我们通过这些基本的构建，比如说线段呢，三角形呢六命题来来进行标准的几何划分啊，那么这样子处理的目的是什么呢，就能够处理非常复杂的几何问题，大家想一想啊，我用三角形。

你可以想象，我不管你这个面多么的复杂对吧，不管你这个面多么的复杂，我是不是都可以用一些或大或小或多或少对吧，都可以用这样子一些三角形，去把你的这个几个区域进行离散啊，进行离散对吧。

所以这个就是说它是可以去，你处理非常复杂的一些几何问题，那么这是从这个层面，那么它还有一个好处是什么呢，这里我们就引入到了单元的概念，也就是说这些基本构建了它是一个单元。

那么它的好处就是说有限元代表有限的元素，但这么想远有限的元素有，这是数量有限的元素或者数量有限的单元，那么我们通过标准的几何划分之后，我接下来去分析这样一个问题啊，比如说我去分析阿维问题这样子一个形状。

唉，我们觉得很难去描述啊，可能要都用到各种曲线啊，剧情表真的这样的一个问题的话，我进行计算的时候，我每次计算我只需要去计算它的标准构建，也就是说，我将对于原来在整个这样的一个复杂区域，上面的计算。

把它离散为若干个基本构建，就是单元之后，我接下来要算的就是这样子，一个具有相对规则的单元上面，来进行我们相关的一些计算，也就是说在单元上去建立它的一个力学方程，进行求解，这就是我们有训练基本的思路的。

第一部分就是我们基于单元来进行计算，得到了我离散的，比如说我离散了有十个单元，每个单元上面的力学方程进行求解，求解完之后怎么反馈到我整个整体上面，那我们就接下来前面不是离散吗，那我接下来要组装起来。

也就是说我要基于把我基于每一个基本构件，就是单元所计算的结果，我要把它组装到一个整体上面来，最终形成我整个近视区域上面的，一个我的力学的这样子一个，那么这里面就涉及到最基本的。

第一个就是我们讲的单元分析是吧，就是说其对于我们每个单元的单个基本构建，单元的一个分一个分析，那么它采用的也是我们基本的物理的，三代的方程来进行计算是吧，比如说我们首先去算它的节点位移。

那么有节点位移之后，我们就可以得到单元内部各点的一个位移，因为我们可以构建一个差值啊，大家知道我们知道了，在一个三角形上面三个点的一个位移之后，我们可以它得到差值函数。

得到它单元内部各个点之间的一个位移，然后我们再进行单元应变的计算，也就是说由位移得到它的应变，然后我们再用应变的，再由单元的应变，就是单元的形状变变，这个节点的位移，会导致我的单元形状发生改变是吧。

当然就是大家想想，我有三个一个三角形的一个上面我一个，我一个三我一个三角形上面我的三个节点，我的三个节点，比如说产生了一定的位移是吧，这里有个位移，这里有个位移，这里有个位移啊。

或者说在这里在这个房间里面还有一个位移，一个位移，那么这些节点的位移，就必然会导致我们整个三角形的这个形状，会发生改变对吧，也就是说它会产生我们的应变，产生应变，那么我们在有应变通过。

我们前面不是讲过有材料的本构方程嘛是吧，它的本构的一个模型，也就是说我去描述我这样子，整个材料性能的一个本构模型，我就可以有应变就可以得到我的应力，那么由单元的这个应力。

就可以得到我们整个的这个单元的这个应力，然后我们再把整个单元的这个应力啊，把单元的应力，我们再把它分散到我们整个的节点上面，得到我们的节点力啊，然后我们再反过来有了节点力之后。

我们又会有节点的这个位移啊，这实现出这样子，一个整个仿真的一个单元分析的一个流程，那么这个单元库前面也讲过对吧，那么在整个c一分析里面呢，就会有非常重要的一个组成原理，就是各种单元库啊。

就是我要分析不同的类型，我可能需要采用像这样的一些私媒体的单元啊，六媒体的单元啊，这些商人柱的一些单元啊，那么对于这种呃这种嗯平面的话，可能有是有这种三角形啊，四边形啊等等各类体一些单元。

包括我们前面提过的特种的一些单元，弹簧单元啊，阻力单元等等啊。

这个前面讲过的，那么进行单元分析之后，我们接下来就要把各个单元再拼接成一个，离散的结构体，也就是说大家看这个图啊，我们首先是整个一个大的这个三角形啊，大的这一个三角形，那我们在进行有限元计算的时候。

其实我我是把这个大的三角形理上为1号2号，3号4号啊，整个四个单元，那么我在有些计算的时候，我是算每个单元，把每个单元算完之后，我又把它全部拼接到一起来，形成一个整体啊。

在这里我们就有一个从单元刚度矩阵，到构建一个整体刚度矩阵的一个概念啊，这个我们到后面讲具体的力学基础的时候，再跟大家去讲解这个问题，那么以上就是我们讲的c a分析中，一个基本的一个计算的理论。

就是有宣言的一个方法啊，它的基本的思路没有他去讲台，具体的计算的过程和他的公式啊，他的思路就是这样的一个思路，先离散再组装，得到一个近似解啊，得到一个近似解啊，那么我们要如何去日正确的认识c。

那么就涉及到c12 个非常关键的指标，就是计算精度啊和它的计算效率啊，计算精度和计算效率，那么首先是精度精度我们前面讲过是吧，那么c一它首先从所采用的工工程中，工程工程算法来讲是吧。

工程数值分析算法来讲，其实他得到的解就是一种近世界啊，就是一种近世界，那么也就是说他对于很多的一些问题呢分析啊，本身结果就是近似的，而且同时其实c一目前虽然很多问题啊，基本上都实现了从0~1啊。

所以0~1是什么意思呢，就是a一啊，他基本可以算很多问题啊，包括前面有同学问到的，像自动驾驶啊这种很前沿的问题，他也能算对吧，但是他毕竟在理论上也有它不成熟的地方，在很多的一些场景中。

可能它的计算精度也还是有限的对吧，第二个就是效率问题，在c e分析中计算效率和精度是成正比的是吧，这个大家其实很好理解，就像前面我们讲过，我们进行离散的时候，在有曲边的这样一个这样一个情况对吧。

我们有曲边的这样的一个情况，那么如果说我只采用两个这种单元，去进行曲边的逼这个逼近是吧，那必然会采用比较大的，产生比较大的一个误差，那为了减少这个误差，我们当然可以把这个网格的尺寸变小一点对吧。

就是我增加一些点啊，再去把这些线连接起来，那么这种就可以取得更好的跟实际相结合，相贴近的这样的一个结果出来，贴近的一个结果出来，那么这个就是我们讲的它的一个精度和效率，成正比对吧，就说我们这样子说的话。

它确实可以提高我的精度啊，我跟真实模型越来越接近了，但是很显然呀，我离散完之后，每个单元都要进行计算，那么你增加了十个单元，那我就要增加多算十次单元的时间量对吧，那我的效率肯定就会降低了啊。

所以说在实际过程中，它是一把双刃剑啊，是一把双刃剑，是个矛盾体，好在我们实际的分层过程中，实际的工程分析过程中，我们也并不要求，一定要达到百分之百或者90%啊，这么高的精度，有时候70%啊，80%啊。

在特定的过程中也就能够满足我们的要求，当然这里也有一些啊，各种ca技术仿真精度的一些对比啊，当然这个数据可能相对有点老了，但是给大家做一个参参考吧，中间这个就是我们常用的一些ca的一个软件啊。

这个是我们常用的啊，呃这些商业的生意软件啊，当然我也希望我们学完这门课之后，大家能够基于我们拍到的平台去开发出啊，我们自己的一些声音软件出来，那么其实对于像最近刚度强度啊，这些静力学分析的话。

他的分析效率的精度啊，可以打精度可以达到90%以上，但是对于疲劳裂纹啊这些问题的话，他可能几率就只能达到75%啊，75%，而且效率的话像刚才的模态啊，计算是比较快的，那对于像流体啊。

像碰撞仿真啊啊这些问题，其实它既然效率也会比较慢啊，也会比较慢，那么这个就是我们讲的整个c一的一个技术，那么c技术里面我们最离不开的是什么，离不开的就是我们c a e的软件对吧。

那我们从c a d的模型到c a e仿真模型，到c a的性能分析，那么有其中c一的仿真模型和c一的性能分析，那么我们就需要记住我们讲的工业c a一软件，工业4a一软件，我可能大家做图形学多。

我们可能是接触cad啊，可能会更多一点对吧，但是在声音软件也是非常重要的，而且现在也是我们国内一个比较啊缺少的，这样的一个工业软件，大家都知道工业软件是个卡脖子问题对吧，现在很多工业软件都是国外的。

那么c软件他也不明白啊，现在这个可以，基本上可以说百分之95%吧，4%到95%的c a软件，可能都是国外的这种商业软件，我们国产的c软件，目前还是处于在快速的发展和这个起步当中的。

那么我们简单的来介绍一些c a软件，让大家先有个概念啊，那么其实啊，最早的ca软件是我们这个美国拉萨所提出来的，他们也是用于他们自己的一些内部呃，辅助他们啊这种非飞行机啊。

飞机的一些设计研发所开发的一些工具，然后逐步形成了现在啊，国际上大名鼎鼎的这样一个leon，这样一个有限元分析的一个软件啊，那么主流的仿真软件的话，这是我在网上找的一个图片啊，在网上找的一个图片。

那么它可能会主要涉及到各个领域啊，比如说我们在电池分析领域啊，啊在结构优化领域啊，在多体动力学领域啊，在机械传动啊，冲压仿真，这些工艺仿真里面都涉及到，有各种各样的这些软件存在啊。

各种各样的这些软件存在啊，那么目前来讲的话，基本上在每个领域里面都有一些细细分的软件，是他们一些行业的领头的一个软件，当然在这个里面也就不得不提我前面讲的对吧，我们国产的数学软件。

现在还是不还是还是不够的，还是不够的，那么这也就是为什么我们这样子，一个犯罪与引擎pano，在何老师讲完这种物理仿真之后啊，我们接下来要讲设一软软件，你有两个历历史的一个原因啊，一方面是医治。

我和何晓伟老师，我们一直有合作啊，包括我们现在也各种呃，我们合作承担的像一些呃国家的项目啊，其实就是去开发一些自主可控的，c a软件的一个产品，一个产品，而另外一个确实啊，在这个我们在共同研发的过程中。

确实也发现，pandeo确实可以提供一个非常快速的一个，c v软件研发学习和应用的这样的一个平台啊，所以这就是我为什么到了后面，我们开始接着pandeo来讲c一的一个原因，那么3d软件它为什么难对吧。

不知道大家在前面听完老师讲了将近一个小时，讲完c a软件，基本的c a技术的一些基本构成之后，有没有一个概念，它为什么很难对吧，那么他打的难的原因，主要是因为它涉及到复杂的一个学科的交叉啊。

它会产生一个比较大的一个技术鸿沟啊，就比如说啊我们要来去仿真，我们这样子一个汽车碰撞的一个，这样的一个过过程对吧，那么其实他我们要去开发这个软件的话，涉及到的层面是非常多的。

一个最基本的最基本的是数学对吧，那我们肯定要有各种数学计算的一个方法啊，那么包括我前面讲的数值分析方法，就是工程中的数值分析方法，有限的一些计算方法，然后我们要进入网格的剖分。

然后我们要进行大规模线性系统的一个，方程组的求解，那么还有一个就涉及到物理这个层面对吧，比如说我们包括材料啊，本构啊等等相关物理学的一些知识，然后另外还离不开我们计算计算机是吧，软件层面并行计算。

图形学相关的一些知识点的一些支撑，当然更离不开我们实际的工程知识对吧，你要去理解呀，理解你这样子一个汽车碰撞的一个过程中，它实际的一个工况对吧，实际一个场景是怎样子的。

那么这就需要你有一定的工程知识的一个积累，也就是说他对于c a软件来讲，它的产业涵贯的范围是非常广的对吧，我们从深海到太空，从民用到军工，从小型民企到大型大规模的央企啊，都快用用用到它。

那么问题的跨度尺度也很大啊，你有可能是用c e软件去算一个纳米级的器件，但也有可能是有软件是算一个千米级的，这样一个航母对吧，那么采用的技术的这个共性点是一样，但是可能在小的一些呃。

小小的细节点上面会有一定的差异，那么我们声音发展的有一些卡点啊，但这个就是一些介绍性的呢，主要是一个就是我们技术的积累啊，相对是比较薄弱啊，我们可能更多以前在有国外软件用的时候，我们更多的研究。

可能是集中在我们的算法的一个层面对吧，那么落地到软件产品的这个层面的工作，可能做的相对比较少一点，第二个就是说我们的场景迭代不足，也就是说我们的这种，大家都习惯于用国外的软件，就不愿意去用国产的软件。

那么就导致我们国产软件的产品迭代就会不足，另外一个就是人才储备的退还啊，就是目前在不管是啊，我们湖南大学在进行c软件人才培养，还是我们mc软件，在进行c a d开发人员的这种招聘的时候，我们就会发发。

现在ca软件的人才储备是非常匮乏的啊，怎么也是希望我们来开设这样一个线上课程，也是希望能够吸引大家一起来学习啊，我们随机软件相关的一些知识，那么在历史上的话，那目前来讲的话，其实整个c软件在国际上来讲。

目前基本上被西门子啊，大家可能都不知道是吧，西门子，其实它是一个非常是我们工业软件，很大的一个企业是吧，西门像像西门子，像offset，像msc，像达索，像e s i是吧，这些基本上就被这几个工业软件。

仿真软件的巨头所垄断啊，当然他们的成长其实是这样子一个，这是一个在网上找的啊，我在网上找的也是非常形象的一个图，一个图片，就像我们呃玩的那个呃，大鱼吃小鱼的游戏一样对吧，我不断的去吃。

通过并购这种各种小的，ca软件的一个公司来补充，因为我们前面讲过，ca软件涉及到的功能点非常多是吧，我通过并购来补充来增强我自身的这个实力，来壮大我自己是吧，这个是国外商业软件发展的一个这样子。

一个方式啊，当然在近几年的话，我们国产的收费软件发展也是非常的迅速啊，现在包括我自己所在的这个啊，由湖南大学可以成果转化所成立的，这个慢性软件，然后也包括像现在的石峰啊，像这样的锁城啊。

还有像起以前比较啊这个啊传统的像high gf啊，像森派克这个都是我们国内比较强势的啊，比较有代表性的一个，商业软件的一些公司和产品，那么接下来就来讲一讲，ca软件和他开发的一些难点中。

我们从ca软件基本架构啊来进行一个梳理，就以后如果说我们要继续犯罪引擎好，来开发一个cd软件的话，那么它大概的组成部分应该是包括有哪些，那么基本啊，从软件架构来讲，大的来讲的话。

一个就是跟我们c c仿真流程是对应的是吧，一个是在前处理，一个是这个求解器，一个是后后处的，那么在前处理这一块的话，我们就需要有两块基本功能的模块，一个是cad建模和模型的一个接口模块。

一个是网格剖分啊，就是我们进行离散网格，剖分和网格优化的一个模模块，那么在求解器这一块，就涉及到我们要根据你实际应用的场景，涉及到通用结构的隐私求解器啊，通过这显示动力学的求解器啊。

和多体动力学的求解器啊等等，这样一些求解器的一个开发，当然还有我们后处理的一些模块啊，我们ca的仿真分析，前面也看到了，有些非常漂亮的一些动画和一些云图对吧，那么这个也需要有一个强有力的一个。

渲染模块来进行支撑，当然它的一个其他的支撑技术啊，也离不开我们的云计算对吧，云端计算，现在因为c计算是比较耗资源的，那么我们需要有云端计算然满足啊，我们普通的用户对计算力，对计算资源的一个要求。

那么当然我们前面讲过，ca计算的计算量是很大的，所以我们要有并行计算的一个支撑，那么在下面也涉及到有数学计计算库啊，像大家可能也接触过的，像bas呀，像space啊，像这种各种的一些数学计算库。

也是我们所需要用得到的啊，用得到的这个就是我们前面讲的啊，基本的三个模块啊，这个就前缀的模块求解器，模块，材料和单元库，以及我们的并行计算的一个模块，是我们c a软件一个最基本最核心的。

这样的一个组成的部分，那么我们首先来看一下各个模块，一些常见的功能和它的作用啊，比如说在这个几何前处理的几何模块这一块，那么它就是用于将什么将我们构建，比如像这样一个整体的船舶呀。

坦克等等的这样子一些模型能够导入到，通过这样的一个几何接口，导入到我们的c e的软件当中来，那么另外一个呢我们ca软件现在也很多，这些软件也会支持一些简单的一个，几何建模的功能，比如说点线面的创建等等。

当然怎么说呢，就是说在cad软件，它毕竟不懂同于c a a d软件啊，所以说它的建模功能相对会比较弱，但是它也是不可或缺的，为这是为什么原因呢，因为我们在导入一些cad的这个模型之后。

难免会涉及到有一些几何模型的一些修补是吧，比如说我要增加要去补一个孔啊，我本来有有有有一个孔，但这个孔的话在c一分钟，我认为这个孔的作用不大，我们可以把它填补，填不到。

那么这个时候觉得可能就需要靠生成一个面，去把这个孔把它给补，把它补上，那么另外一个很大的一个应用场景呢，就是大家设想一下，就在很多场景中啊，他们往往会需要一个全自动的一个分析。

也就是说我从最开始的几何分析到网格剖分，到计算大求解，到后处理需要全部自动化的去完成，那么这个就要求我们ca软件在几何建模这一块，也有足够多的软构件，足够多的功能模块，能够用于参数驱动的这个几何建模。

还有一个就是非常关键的，从cad网模型到c a模型呢，我们讲的网格颇丰模块是吧，网格颇丰模模块，那么这就涉及到像这种三角形网格啊，和市民比四边形的网格，网格啊，四面体的网格。

六面体网格啊等等网格的一些生存，当然也涉及到我把这个网网格划分完之后，可能要对网格进行一定的调整，比如我的网格密度要调整啊，我网格要进行一个拉升，有些电话的网格我不需要，我要进行一个删除。

或者是有些网格我本来是四个网格，我现在把它进行一个合并对吧，进行一个合并等等，就是这样子一个啊，网格剖分模块常用的一些功能，那么具体到一个软件的一个功能点啊，这个我们到以后在算法讲解中可以再再扩展。

就会涉及到，比如说啊我一个ca软件，它要满足很多的功能，比如说啊对于一个通用结构的分析啊，比如说我们对于线性感，当然我这里是采用的是mac sim啊，就是我们国产c软件mac sim。

它的影视分析模块来进行讲解，那么比如说在这个线性分析这一个啊模块的话，可能支持高强度的分析啊，模态分析啊等等之类的啊，这些功能分析的一些模块，那么对于这个单元类型，大家可以看得到。

就是非常非常多的单元类类型啊，当然这个里面的单元类型，也要跟大家解释一下啊，这个单元类型，其实它不仅仅只是说靠几何形状，去进行划分对吧，比如说大家看在这个二维二维单元这个里面，同样是三角形单元对吧。

同样是三角形单元，这个三角形单元就代表它的几何形状，就是三角形嘛，但是实际上它在计算的理论又会有不一样，那么还有一阶三角形的平面应力，单单单元，二阶三角形的平面应力单元，也包括有一键三角形。

还有平面应变单元，根据我遇到的问题不一样，这个我们在后面会讲解，那么它有三角形的一个平面应变的一个呃，二阶的平面应变单元，也就是说对于同样一个三角形，就会有很多种类型的计算的一个方法啊。

这个也是要根据你实际的工况，以及你实际应用的场景和，对计算精度的要求是怎样子的，来选取合适的一个单元啊，来选取合适的一个单元，也就是我对于同一个几何体，它这个单元其实是对应于有多种计算的方法。

那么我们在有限元软件里面，在提到单元的时候，大家就有个印象诶，他不是值形状啊，而是指它的一个单元计算的方法啊，单元计算的一个方法，那么在另外一个的话，就是它实际的一些功能对吧。

比如说我们做的刚强度和模特的一些分析，一些一些分析啊，符合弹药的一些分析啊，还包括一些惯性思释放的一些分析等等，这个我不知道后面再逐步的展展开，那么这一块啊，还有非常重要的就是我们的材料本构对吧。

材料本构就是说我对于材料，物理性质的一些模拟啊，那我们在进行这些材料本构开发的过程中，我们就会采用这样的一些标准的刷点分，ch mark来进行测试对吧，来进行测测测试，因为像这样子一个，比如说像这样子。

一个单轴拉伸的这样的一个实验，那么这个实验我是可以在物理机上面去完成的，就是我在完成之后就可以得到，得到我这样的一个事件，这样子一个材料的事件，它在拉升过程中，它的一个应力应变的曲线。

那么我在前面我们不是讲讲述了吗，那我的材料本构模型，就是用来描述应变和应力之间的一个关系，那么我们在通过实验得到应力应变曲线之后，我们也可以去开发一个数字算法对吧，数值算法，那么你开发通过这个数字算法。

形成这样的一个本构模型，那么我在采用这整个这样子一个本构模型，对我的单轴拉伸时间进行模拟，也可以得到一个应力应变曲线来分析，诶，我的粉丝，这个仿真分析的数据，跟实验的数据是否是相等的成分。

来验证你的本科模型开发是否是正确的，那么再一个就是我们在这个啊c一分析中，我前面讲过的就是j就是相接触是吧，那么在这个接触这样的一个问题的话，其实在物理访问中也是非常的重要是吧。

在物理法中也是非常的重要，要对真实的物理的系统进行一个模拟，那么接触是必不可少的，那么对于c一仿真的接触，和这个物理仿真的接触，其实也会有一定的这个差异性，也会有一定的差异性。

在这个里面也就是说在我们是a分析里面，其实我们有时候经常会允许它有一定的穿透，然后我们比如说如果说你是采用罚函数法是吧，那么我可能一开始是模拟这种穿透的，这样的一个。

这这这样子一个通过先容许它的一个穿透，来获取到我的一个接触力啊，通过我的接触力，然后再把我三个物理题把它把它给诶，通过产生一个接触的反例，这样它产生一个反向的一个运，一个运动把它给分开对吧。

这个就是我们在这个接触分析的这样的，一个领域啊，但是在物理仿真里面，我知道像一些逆向embody啊，像粒子法呀，也会采用类似的这个思想对吧，我们首先是计算两个点的一个距离啊。

然后通过这个距离来算它的一个例啊，其实也是类似啊，也也是类似，但只是说在这个呃c一访中的接触中，他对他的数据稳定性的要求会非常的高，因为我的接触反力产生之后，最终是要我的内力和外力要形成一个合力。

来对我整个物理的这个现象进行一个银一个呃，事实分析啊，那么还有一些比如说损损，损态分析和评奖分析啊，这个也前面讲过啊，就是我们平时在做些路普的一些分析等等，会要用用到的，还有随机动作分析啊。

当然这里还有一个就是我们拓扑优化，这个嗯也是科普性的跟大家说一说，其实我们做分析啊，还有一个很好用的一个工具，我们叫做拓扑优化结构，拓扑优化它起到一个什么作用呢，就比如说大家看这个红色的这样子。

一个连杆的这样一个零件对吧，才发现诶，为什么随着这个动图的变化，我有些零件去掉了啊，有些地方的材料没有了，其实这样子，它就是一个结构拓扑优化的一个问题啊，一个过程，也就是说我们通过反复的这个计算。

我们可以去评价什么，比如说我在整个呃零件，有些地方它的可能它的收益比较小是吧，产生的位移量也是非常小小小小的，那我们就认为这个零件可能对整个呃，这部分的材料，对零件整部分的这个物理性能。

比如说刚强度的影响不大，那我们是不是就可以把这部分的材料给去掉，是吧，去掉之后就可以得到一个什么目的目的啊，就可以做达达到我们一个轻量化的一个目的，是达到我们轻量化的一个目的。

降低我们整个零件的一个质量是吧，它的重量越越轻，那么差成本也会越低一些啊，那么这个是我们ca软件，也是一个非常典型的一个应用吧，就是结构的top优化，结构拓扑优化，那么接下来。

比如说我们有一些研究的一些方向啊，比如说这个是一些啊，dj各单元的一个高精度算法啊，这个是啊后面有给大家讲啊，就是说我们对于三角形和四面体单元来讲，一方面是他们几何形状不一样，更为重要的是。

其实四边形它的计算的精度，是要远高于三角形的啊，对一般的软件当中，四边形的计算精度是要高于三角，是要高于三角形的，四边形的精度是要高于三角形的啊，但是四边形它有一个问题啊，如果说大家对于这种网格划分呢。

离上海比较熟悉的话，就知道我们要进行四面体的网格的这种破分，是比较困难的，大方向上，至少在正前面大家看到的所有的模型里面，我的p t所有图里面，大家看到的可能都是一些啊，由这种三角形或者是三角形。

是四边形混合所构成的一些模型啊，那么我们就可以尝试怎么样，为了能够降低网格剖分的一个时间啊，那我们就因为三角形可以实现自动的一个破分，那么我们就可以提高提高什么，提高我们三角形的一个计算的精度啊。

提高我们三角形的一个计算精精度，来代替工程中去使用四边形，那么降低我们进行前处理啊，就是网格剖分这方面的一些时间，和他的一个难度好，再一个就是方程组求解器啊，这个我准备以后专门跟大家去讲啊。

这一块的主要就是说我们对于任何的一些分析，其实他们都会归纳于去解一个方程，在c一里面都会去解一个ax等于b的，这样的一个方程，x等于b的这样的一个方程，那么都是通过求解这个方程得到x啊。

得到我们这样子一个未知量，那么因此方程组的求解，在ca的英语中是非常重要的，他经常会占到我们整个4a分析，计算时间的80%以上，因此我们就非常有必要去开发一个高稳定性，高精度的一个方程组的求解器。

来提高我们对应的cae分析的一个精度，和它的一个效率啊，但这里有一些典型应用的一些场景啊，比如在高铁啊，在工程机械啊，在船舶上面都有一些应用，那么这个也是一些应用啊，这个我们不去讲啊。

前面我们讲的是影视分析的一个模块，接下来这个模块也想跟大家讲一讲，我们这个叫做一显示分析模模块啊，显示分析的一个模块，那么他要算的问题主要是什么问题，比如说前面最开始给大家放的汽车碰撞。

汽车碰撞模拟的话，因为它涉及到，它涉及到一个非常大的一个材料的形变，非常大的一个变形对吧，那么这个时候我们就考虑到数值的稳定性，我们一般要采用像一些类似于像中心差分的。

这样一个思想进行一个显示的一个求解啊，因此一般的c a软件里面，都会包括有他的影视模块和它的显示模块啊，那么比如说我们在这里，涉及到两个管的一个碰撞对吧，涉及到我们整个这样的一个模型的。

这样的一个挤压的这样的一个过程，以及像这样子我们一个子弹打穿一个平板啊，这样的一个过过程，其实它都是基于s p a啊，不都基于我们显示模块来进行计算的，同样的它也包含有各种单元对吧，这个都是一样的。

我就不去展开讲了，各种单各种单元啊，各种材料以及它的一个接触计算的模块，也是一样的，那么对于显示计算来讲的话，它的呃接触计算的话就会比隐私会更稳定一些，那么会涉及到比如说我们这种点面的接触。

面面的接触啊，包括我们单面的接触啊，包括到我们这种有非常复杂的一些啊，自制接触啊，大家想一想，在一个汽车碰撞过程中涉及到的接触的现象，是非常多的是吧，各种各样的都会有，那么再就是对连接约束的一些处理啊。

连连接约束的一些处理，再就是非常重要的并行计算对吧，因为隐隐式求解的话，其实它的计算效率还比较好，它解决方程组的求解就可以算得很快，但是显示就不一样，因为显示它是一个迭代计算的一个过程。

可能我们在算一个汽车碰撞问题的时候，可能要涉及到数10万次了啊，数数10万次的一个反复的计算迭代，那么它的计算时间可能会要用到几天啊，或者是至少是一二十个小时这样子一个时间。

那么我们就可以采用这个并行计算的方法，来提高我的计算效率是吧，这就涉及到咱们pdl的这个啊，以这个引擎我们的贩罪引擎是吧，他所有的底层架构的数据其实就是采用gpu cpu啊。

混合的这样子一个来进行管理对吧，我的数据既可以直接在cpu中用，也可以在gpu中来用对吧，那么这样的一个框架的话就非常怎么样，非常适合于我们来进行我们cae分析中，这种gpu并行计算算法的一个开发啊。

先给大家一些概念吧，比如说我们用gpu来算这样子一个手机啊，大家手上都有手机是吧，那你们有没有想过你手机掉到地上之后，它的损坏程度，研发人员是怎么进行研进行研发的是吧，那么我们就会用计算机去模拟这样子。

一个手机掉在地上的这样一个过程，那么这个过程的话，就是用我们4a一的显示有限元分析模块，来进行仿真分析，那么这个过程会非常的耗时，但是如果说我们用gpu加速的话，我们用一块gpu。

比如说用a100 这样一个gpu的话，我们的计算速度的话，可以比这种商业软件用到96核的，这样子一个cpu还是要快到1。6倍啊，所以可以说gpu在ca的显示有限计算中，是有非常强大的这样一个功能的。

那么这个是我们做过的一些更多的算料，比如说更多的汽车碰撞啊，比如说像汽车座椅的这些，零部件的一些碰碰撞啊，包括像汽车内饰件的一些真空的成型的，仿真分析等等啊，然后这也有一些在其他的场景中。

比如说我们在一些单机破坏呀，像这个啊左下角是我们的冲压成型啊，像这个是受到一些冲击力，零部件的一些变形啊等等，那么这个都是我们显示模块来进行一个模拟，那么对于c e技术的一个发展趋势啊。

最后我们再利用是十几分钟给大家讲一讲，这个也是给大家啊放开一下我们的思路，那么c a技术发展的一个趋势，其实还是离不开几个关键词，第一个就是使用效率，第二个是计算效率，第三个是迭代效率。

看得出来效率最关键对吧，因为在企业中工程师他经常会用到c1 ，如果说我每算一次c一都要等等，等上几天几几几个小时是吧，那么它的工作效率必然会很低，那么所谓的使用效率其实要解决的问题是什么。

解决的是我们是cae模型和cad模型相分离的，这样的一个过程对吧，我们做c a分析，我们要从c a d模型转化为c一的一个模型，第二个是计算效率对吧，就是我单次求解的计算效率，第四个就是迭代效率。

迭代效率是什么意思啊，我们前面讲过，我们在产品设计完之后，我们就可以用c a软件进行一个分析，分析完之后，我的结果改进，改进完之后，我又来进行分析是吧，那么这样一个迭代过程中。

其实它的迭代的效率也是非常之重要的，好那我们首先就来看目前啊，一般我们怎么主流的去提高使用效率，就是如何去降低从cad模型到c a模型的，这样的一个时间的消耗，当然这个工程设计的梦想是吧。

其实现在也有很多的一些软一些软件啊，商业软件大家也可以了解一下，包括也有一些啊，这个学这个学者也会去研究，这种cad和4a一的一个无缝集成的一个方法，也就是我可以直接基于c a d来进行。

我们c一的一个分析，那么第二个计算效率啊，这个大家都很熟悉啊，这是并行计算嘛，就我们如何采用像gpu并行计算啊，像超算啊这样子一个平台或者cpu，gpu这样一个异构平台。

来提高我们整体c仿真的一个计算效率啊，我相信这个也是呃大家以后在c1 ，c一这个技术领域啊，大家所学的知识可以更多去贡献，大家智慧点的这样一个问题，我也希望以后，因为我们我我们团队其实是基于攀登大脑。

开发了另外一个增量集成的一个c软件平台，叫做mc sim nel，也希望大家可以在这样的一个开源平台里面，去贡献自己在这一块的一些智慧和结晶，那么迭代效率就是我前面讲过对吧，比如说我们每次分析完之后。

我要去改一个特征，那么改完之后我要进行重新的一个分析，如果说我每次分析啊，大家看，比如说我们从这个图到这个图，其实我就只是增加了一个孔，但是增加这一个孔之后，我如果像以前我要全部都要重新算一次对吧。

把整个模型全部算一次，其实是比较耗时的，那么如果我要迭代100次，那我这样一个车门就要重复迭代的算100次，那么有没有一个办法能够提高这种迭代效率呢，那么采用的方法就是重分析啊，这个大家可以了解一下。

我们讲的c a就是重分析，那么它的一个基本的思路是什么，就是说如果说我只改了这一部分，那我就只对这一部分的周边来进行分析啊，其他的这些地方我就不去进行分析啊，这样子的话。

我的每次迭代分析的计算量就极大的减，因就降低了对吧，那我迭代的效率就提高了。

你的效率就提高了，当然还有一些像这个就是我们要有更多的一些，单元的一个算法是吧，来提高我们的一个计算的精度啊，这个就比较多比较专业了，就涉及到c非常核心的一些计算的一些，你一些你一些理论。

那么这个是我们团队前面所做过的，围绕着这种cpu gpu异构并行架构，来加速c a软件所做的一些工作，这个在后面的课程中。

在逐步的跟大家去进行一个讲解，那么另外就是我们在多物理场啊，比如说呃我们作为力啊，热啊这种利这种各个厂子去耦合分析的话，其实也是未来c a软件发展所需要解决的，一个关键的一些问题啊。

那么对于我们基于判断单的去做的一个事，一个事情，我们主要是为了去实现一个复杂ca任务的一个，增量的开发集成以及模块去复用的一个难题，也就是说我希望去提供出这样的一个平台化的，这样子一个工具。

去吸取大家在c一相关的各个领域值日的专长，都来基于平台去实现和构建你自己的ca软件，比如说你是做算法研研究的，那你可以把你的算法在我们的平台上，可以快速的实现，形成一个软件。

从而来测试你的算法是否是是否是正确的，当然第二个就是我们从云和我们这种多终端的，就比如说我们在pc啊，移动啊，这种像我们的工业元宇宙是吧，我们在重庆市的这种设备中，对于c a软件的一个使用。

我们觉得panda也是能够满足这样一个要求的，再一个就是我们对于端云协同对吧，这个也是pdl很好的一个特一个特性，我们能做得到一个关于协同的这样的一个。

c a软件开发的这样的一个某一个某一个模式。

那么最终的话我们也是开发了这个，我直接跳到这里来吧，也是开发了我们称之为是maxim nel，这个是完全基于python单等来进行开发的，就是它底层的核心框架其实就是pagano。

但是我们把它从c a e的前处理求解器后处理，进行了一系列的软构件的开发和，节点的开发和集成，那么最终就形成了，能够基于大家基于这样的一个界面，来进行我们c仿真算法的研究。

仿真流程的一个搭建啊等等这样子一些工作啊，这个是我们软件主体的这个界面啊，大家看啊，虽然现在又有新的版本啊，大家可以到我们的马云平台上面，进行一个下一个下载，但实际上基本上也是类似。

大家可以看得出来跟判断了，其实操作的流程方式也是很类似的是吧，也是很类似的，只是说我们这个时候所搭建的这些流程的话，我们都是面向于赋予我们ca分析的，而不仅仅只是我们的物理仿真分析，这样子一个工作啊。

那么这个就是整个软件啊，这个到后面的课课课程中，我们再去啊跟大家进行仔细的这些讲解啊。

今天我们就不在这里来说了嗯，行那我们今天的这门课啊，这这个大家的学习我们就一起到这里啊，谢谢非常感谢大家。

嘉宾座谈：Snap Research 的计算成像、摄影研究 ｜ GAMES204-计算成像 - P1 - GAMES-Webinar - BV16V4y1c74R

大家好，欢迎来到我今天的talk，competent image and competent photograph，search，at saber，search，java sneer search。

在计算成像和计算摄影方面的研究工作，我叫剑王哦，我的个人主页是剑王杠，cmu dot github，dot i o，我的微信号是建完8973，欢迎大家加我进一步交流和讨论，首先介绍一下我们实验室。

我们实验室坐落于纽约时代广场雅虎大楼，每天楼下都是游客，人挤人，我不知道公司为什么把office放在这里，但是看上去我们的实习生非常喜欢，公司附近还有很多著名景点，比如啊brand park。

百老汇等等，我们office里面没有食堂，也许是因为公司附近已经有很多吃饭的地方了，公司给我们每人一个ma card，可以在餐馆消费，每天去不同餐馆嗯，觅食也是这里的工作的乐趣之一。

这是我们的实验室，由啊mechanic room啊，dark room啊，作为实验室还是挺大的，考虑到这里的租金很高，实验室附近的著名景点，除了有多种多样的餐馆之外呢，也是跟我们采集数据的绝佳场所。

下面介绍一下我们团队啊，我是团队里的senior scientist，做计算成像，计算摄影和计算机视觉方面的研究，思卓也是团队里的research scientist，和我做类似方向的研究。

ban是我们的senior，设置engineer，做可穿戴设备的呃，传感和移动传感方面的研究，car是我们的senior，以设置engineer是我们的mechanic ical engineer啊。

机械工程师andrea是我们的program manager，xxi，and michael是我们的consultants，其中某hit是威斯康星麦迪逊的教授，长期是哥大的教授。

mike是非常senior的电子工程师，我们的director是喜ena manager，是gru，可以看到我们团队里的人的背景是非常多元的，有research scientist。

research engineer，mechanical engineer，software engineer，嗯and electrical engineer，就是说有研究科学家，有研究工程师。

机械工程师，软件工程师，还有电子工程师，这是多么这么多远的团队才能迸发出啊，灵感的火花，并且把想法变成现实，把想法变成可以真正让用户使用的产品。

我们的工作呢也离不开谁生的啊努力，每年我们会有大概12个实习生来自计算成像，计算摄影，计算机视觉和人机交互领域，这里呢是实际上活动的一些合照，我们现在在招2023年的实习生，如果您感兴趣啊。

非常欢迎申请，对于国际学生，我们会帮忙申请接万签证，为什么选择我们呢，我的主页上写的啊，原因简单来说，我们会为学生考虑，根据学生的兴趣和特点量身定做实际项目，我们也会提供非常多的指导。

同时如果需要也提高学术的研究的自由度，实际上有机会产生产品与产品影响，学术影响啊，或者两者都有，今年啊，我们的每个实习生都有顶会的投稿，我们的实际生数量也是非常有限的，如果您想跟我学术合作，欢迎联系。

我会给学生合作者提供学术指导和学术ide。

首先介绍一下我们公司snap ink，snap公司有两套产品，一个是手机app叫snapchat，另一个是增强现实眼镜，snap chat是一款即时通信软件，可以用来给朋友发消息啊。

发照片和发视频和微信很类似，在全世界有3。6亿用户，主要集中在年轻人，它的设计理念呢比较独特，阅后即焚，也就是看完了消息就没了，这个和微信很不一样，在微信上面呢，你给别人发了消息，这个消息会一直存在。

您还可以搜索某人过去发的消息，一开始呢我觉得snapshot设计比较反人类，因为用微信比较习惯了嘛，其实一开始我用snapchat的时候，我一个人对话，我问他啊，在哪里会面，然后呢他给我发了个地址。

我打开后看了，然后呢再打开啊，想确认一下地址诶，地址没了，但是呢随着用户用snapchat越来越多啊，我越来越觉得snapchat的设计，更近似于人类之间的通信，比如说我上个月跟你说的话。

我们可能都不大记得了，可能只能记得一点印象，而且也没有地方去搜索是吧，snp下载的最根本的设计理论是什么呢，社交无压力，在这上面聊天呢，你不用担心你过去说过了什么呃，呃蠢话。

ok他也有朋友圈叫做stories，在上面发朋友圈呢，别人没有办法点赞，也没有办法公开评论，如果朋友呢嗯看到了你发的什么照片视频啦，真的想给你评论的话，他如果开始打字啊，会直接发送到你的啊。

跟你的聊天窗口里面，相比之下呢，在微信里面你发个朋友圈，你可能还担心，比如说点赞的人不够多呀，啊在啊，比如在发票之前，你可能会想很多，比如说呃，你要把这个图片呢要修得美美的呀之类的。

snap chat的设计理念是社交无压力，我现在越来越觉得他是社交了，未来，下面介绍snp下载的五个tap就五个啊，五个页面一打开snp下的呢是他的呃相机窗口，ok就是中间的这个tag啊。

而不是像微信一样一打开就是聊天窗口，snapchat这么设计是为了鼓励用户拍照，然后呢啊发给朋友，此外呢用户还可以调出一些滤镜，比如说让自己有双啊兔耳朵呀，然后呢嗯男美女啊，女变男嗯。

或者是小孩毕业老人嗯，或者老人变小孩之类的，这些滤镜呢增加了很多拍照的趣味性，snap chat在滤镜上面是最早发力的公司，也是做的最好的公司，由于滤镜的成功呢。

啊instagram抖音也开始有类似的功能，这个是嗯聊天窗口跟微信类似，可以发送文字，图片语音，还有各种各样的表情包，最左边呢是啊snap地图，可以看到朋友们在哪里，这儿呢就是类似于朋友圈了啊。

可以看到朋友发的照片和视频，文字呢一般都是直接加在照片和视频里面，还可以看到啊公众号发的视频，比如说呃那个呃比如说呃cn啊，或者是哪个新闻媒体发的，比如说新事业杯啊。

嗯然后呢会发一些这方面的体育新闻之类的，最右边呢呃就是短视频，有点像微信视频号。

snap公司另外一个核心产品，是行业领先的增强现实眼镜啊，a r glass，ok，我们的增强现实眼镜叫sniffles，snp，在这款眼镜上面投资了很多年了，包括研究和呃，收购重要的straps。

围绕二塔公司的两个核心产品，我们有非常有趣的和实际的计算，成像和计算摄影问题，技能神像呢啊一般都是啊pure solar best，就是纯软件的。

现在成像呢一般是啊codesign hardware and software，就是说啊啊把硬件和软件联合设计，在嗯计算摄影方面呢，今天呢我会给大家讲到啊，我们在呃两类project上面的研究工作。

一个是呃图像修复，image restoration，另外一个是呃图像编辑，image manipulation，它呢可以用来嗯，就是说在snapchat的app上面做那种很有趣的，a ar的啊滤镜。

我们称这个ar滤镜叫做内部叫做snapolis，或者叫做啊snap滤镜，在计算成像方面呢啊我会介绍四类的研究工作，第一类呢是基于闪光灯的低光成像，第二类呢是啊资源有限的啊，3d传感。

第三类呢是透明玻璃的检测，第四个呢是啊带带点科幻性质研究透明的相机，我们还有其他的研究工作啊，但是可惜的是啊，现在还处于保密阶段，有可能明年会公开一部分，如果您感兴趣的，可以对我的网站保持关注啊。

一旦可以公开。

我立马获得啊，我的网站上面啊公开出来，除了我今天给的token介绍的我们的研究工作，我们的manager，11在c c p2022 上面给了主旨报告，介绍了我们别的工作嗯。

他的报告的题目是advances in visual communication，那visual communication其实就是呃，呃现在snap chat上面就是说呃，呃主要的交流方式了。

visual commencing，就是说啊现在主要的交流方式不再是文字了，而是什么图片和视频，那accp是计算摄影方面的顶会，如果您感兴趣啊啊观看啊，11的这个主旨报告呢，啊这里面有啊提供的链接。

比如说去youtube上面搜索一下，可以去找一下c c b的channel呀，或者是更简单的去我的网站上面。

然后呢我的网站上面有啊提供了这个链接，同时呢这里也做一个啊啊小广告，十日呢还有一个在线课程，叫做first principles of computer vision。

就是啊计算机视觉里面的呃第一性原理，在现在啊基本能力时代，很多人其实都不知道，计算机视觉的一些基础理论，但是呢这些理论对于研究工作的深度，是非常重要的，他的这门课真是教授这些，而且讲的非常的好。

相信您看了之后呢会受益匪浅。

好在现在呢啊开始介绍一下，我们嗯的具体的研究工作，在嗯这是计算摄影图像修复方面呢，啊我会啊重点介绍三个研究工作，包括blind faimage restoration，就是图像，就说嗯人脸啊图像的复原。

并且你是不知道他的这个呃啊，图一下坏的过程的，第二个是啊flash flash啊，fast image restoration，就是基于闪光灯和不闪光灯，就两个图片融合的这种呃人脸图像复原。

第三个呢是啊restoring ai generated faces，就是修复现在啊ai生成的图像里面的，这个人脸的这个问题，第一个啊，blinda fast image restoration。

左边呢呃是呃input，ok右边的是output，是我们期待的output切换的啊，结果那可以看到这个问题其实还是挺难的，可以我们可以看到这个input里面呢会noise啊，会会会造成那会有嗯信息损失。

那嗯怎么从这个呃输入啊，可以修复到输出呢，就修复修复得到的输出呢，我这边可以按暂停一下，然后大家可以想一想，那我们可以嗯根据这个输入的这个特点啊，因为都是人脸，那么可以用到什么呢。

啊人脸的这个呃a prayer，ok那我们是基于这个呃pretrain的face，简单一些，model specifically style干，我们可以把这个啊style这个这个人脸生成器啊啊。

肯定选到这个in locity的input上面，然后呢可以在这个output，这里解释一下这个bland的意思，就是说呃我们这我们这个input到这个output呀。

就是啊就是为什么会变为为什么这个会变坏，一般会有加上一般会有noise呀，有buz，然后呢不line表示说我们不知道这noize有多重，然后呢这个伯乐的的布洛克呢是啊多大。

还有别的一些呃degradation啊，包括呃呃jpg可不j啊，jpg压缩呀之类的。

ok现在看一下啊算法的呃这个结果嗯，这边的话就是展示了这个输入是长什么样子的，可以看到这个呃呃信息丢失很严重，然后呢嗯这个输入的质量非常的差。

那么呃这个事儿啊，输出可以看到输出的啊，这个人脸的质量非常的高，其实呢呃这个数值还是有些问题的，就是这个输出虽然质量很高，但是不一定保证啊，输出和和输入呢是同一个人。

这也引出了我们按第二个project，我们第二页有两个呃，输入一个是这个啊loquality的这个呃，人脸的这个照片，另外一个呢是呃闪光灯打开的时候拍的，拍出的照片，那有人就会问了。

就说为什么我不直接用这个闪光灯拍的，这个闪光灯拍的照片呢，啊因为这个闪光灯拍的照片啊也不好看，就是你会看到它的这个呃，这个哈嗯光照有点那个，比如说有有点有点太那个harsh，ok这不是很自然相嗯。

相较之下呢，这个这个这个这个这个input，就是说这个low低质量低质量的这个输入呃，虽然呃比较的啊嗯有噪声啊，但是呢它的这个颜色这个这个这个感觉就overall，这个呃颜色这个痛啊还是很好的。

这两张照片都是互有优缺点，ok那我们这边目标是什么呢，是希望能够融合这两张照片生成一张照片呢，它的这个整体的这个呃颜色嗯是非常好看的，同时呢也没有噪声，那怎么做呢，唉我们用一个啊类似的方法嗯。

就是嗯嗯基于这个嗯人脸生成模型啊，prefa fa generation model，like a style gun，ok那这个是我们的输出的结果，可以看到啊，它确实符合我们的期望。

你看这个颜色是非常好看的，ok这颜色颜色非常好看，比这个flash image要好好多了，并且呢就是说也是没有noise，比这比这个no flash mesh也是嗯好的非常多。

然后呢这个是ground truth，可以看到就是这个我们的output，跟着ground truth是非常相像的。

看第三个啊，project修复ai生成的图像里面的人脸，那现在啊就是生成模型非常的火啊，给这个生成模型打一段话，比如说啊一个人和一个呃呃呃数字相机，ok然后呢这个就可以，这个就是人工智能啊。

生成了一个呃照片，哎呀效啊非常的棒，像真的似的，那它有什么问题呢，他仔细嗯看了一下，发现呢啊这个人脸的话是有问题的，这人脸他这个你看这个眼睛就是啊有点不大对，ok然后呢嗯一旦有点不大对了之后呢。

我们就觉得他就就挺像像像鬼似的，ok那这鼻子也不大对，这嘴的话也挺奇怪的，那其实嗯在产品里面呢，我们其实还有另外第二个需求，就是我们希望这个生成了这个图像里面，能够生图像。

生成图像里面图像的这个人脸里面呢，能够融合进入啊，当前这个用户的这个人脸上面的特征，所以呢啊具体来说有两个需求，一个是修复这个啊奇怪的人命，第二个呢是融合进这个用户的人脸特征。

ok那具体来说呢是嗯由于两个输入，第一个是ai简单性的face a i生成的人脸，第二个是用户的自己的人脸，那把它们融合起来，那怎么融合呢，ok那其实啊这个和上一个project的有点类似。

上一个project是啊融合啊，no flash和flash image，那这边的话就是融合这两张图片，当然了，刚才那两个刚才那product里面的话，那个那两个人脸其实是那两个。

就说no flash和flash啊，fate images本来就长得比较类似了，这边的话就长得一点不大同不大相同，但是呢我们依然可以用类似的方法，基于这个人脸生成模型，然后把它们给融合在一起。

把它呢嗯贴回去，ok这个就是我们最终的最终的生成的照片，ok也就是说有一个啊ai简单体的image，还有一个当前用户的一个啊photo，那我们可以把他们既修复这个鬼脸，然后呢就可以把人脸。

把把这个用户的信息转化进去，仔细看的话，其实可以看到，可以看到什么呢，就是呃这边胡胡须啊，然后呢鼻子呀癌症啊，然后这个眉毛呀其实是啊，和用户当前的这个照片是非常相似的，ok那现在接下来按一下i嗯。

另外一个工作啊，qr code，snapchat有自己的qr code，叫做snap code，然后啊为什么要snap code呢，因为我们认为我们的snap code讲的比较好看。

在我们做这个project之前，公司里面刚刚有一个呃叫做snap code的skin good line，就是说嗯叫用户呀，就是我如果打印出来一张，打印出来一个snap code，那，扫描它的时候。

这范围距离也一定要在啊，比如说多近之内，比如说这边写了个，就说啊嗯7x这个距离其实是非常小的，你想象一下，就是说这个啊snap code就这么就这么大，那么你的扫描你扫描的距离必须是这个七倍的。

比如说啊七倍的距离以内，这其实是非常非常短的，那我们的工作呢，嗯就是嗯来延长这个啊扫描的距离，那扫描距离越长的话，其实用户扫描这个code也会越顺畅是吧。

那我们来看一下，就是，为什么我们不能从很远的距离，来扫描这个二维码呢。

这个video就展示了啊什么呢，就是当我们拿着个相机。

然后呢，嗯然后离这二维码越来越远。

然后拍到了这个图像，我们可以看到呢，就是大家相机离这这二维码越来越远，那首先质量会显著下降的，你看现在的话就是这些啊，beat信息其实是越来越模糊了的，那显然这个时候再对二维码做那个呃。

解码是非常困难的。

那下面来看看就是我们的算法的呃，结果在右边，然后呢还有啊，之前算法的结果在左边，你这个时候啊之前的方法已经失败了，他已经检测不了检，检测不了任何一个code了，那我们的方法呢啊还能讲得扣的。

并且三个都能讲得到。

嗯ok，那接下来再看看就是啊，我们的算法和嗯之前的算法，对于这种啊倾斜的这个二维码的啊，performance。

ok啊，我们的算法呢其实对于普通的二维码也是work的。

这个里面的啊测试一下，对于这个倾斜的二维码的这个performance，我们的算法呢就是说能看到更加倾斜的二维码。

传统的呃算法呢是这样子的，他先呢呃检测出这个呃啊square在哪，然后呢再简单说四个角点在哪，然后呢做alignment就把alig正方形，然后呢在这个区域里面，就这个这个里面的区域呢做这个r2 值化。

然后呢把然后呢再对每个点就说嗯，做一个就能做一个什么啊，简单的一个归类，就是说它是一个一还是个零，当我们的方法呢嗯是先是什么呢。

i用了一个fine tuna和object detection network，然后呢再用了一个传递声音网络，这个转音神经网络，同时做这个alignment，和这个从这个呃image转到这个bats。

我们的方法呢已经进入到了啊app里面，并且呢被嗯几亿用户每天都在使用，那考虑到就是这个扫描二维，扫描二维码的这个呃操作呢是非常频繁的，那我们的算法呢也就是说每天都是被用的，非常的非常非常非常的频繁。

这个project呢是非常成功的，那这里呢分享一下这个project的一些成功的经验，我们呢是第一个啊，找到并且是来处理这个问题的啊，我们是在2019年的1月份开始做这个project。

在当时我们并不知道诶，这个扫描距离呢还能变成在2年半之后呢，我们知道啊，微信和apple啊，在做类似的事情，第二个呢是网络设计，我们是第一个呃用这个网络来做这个问题的。

并且呢啊有这个a做了这个training，可以注意到什么呢，我们我刚才在slide里面修了，就说我们alignment和这个image to beats，是呃联合起来劝的，这样子的话。

在alignment那边的话，就是说出了点问题的话，在后面这个image to beats，这还能够修复，还能够更正一点回来，第三个呢是啊，理论分析到底需要多少的这个camera pixels。

来解码一个二维码，那我们到底需要多少个capixels，那嗯根据内灰色的采样定律，我们是需要36x36的cover pixels，但是我们发现这个二维码它是啊，唉要么是零，要么是一。

所以这个啊那灰色产定律呢啊是节水啊，不需要那么多，那我们发现了啊，只要1。5倍嗯就够了，同时呢我们考虑到二维码它自带冗余编码，也就是说我们并不需要解码啊，所有的壁纸才能把这个二维码给啊，嗯解码出来。

我们呢只需要解码，比如说70%的这个bs，那么就能够把这个二维码解码出来，那经过理论分析呢，我们发现嗯比如说1。1倍的啊，一倍1。1倍的时候啊，我们解码的成功率是50%，然后呢1。5倍的时候。

我们减法成功率是100%，唉这种啊理论分析呢，对我们嗯，这个嗯实验部分也是有非常大的帮助的，接着呢是啊啊我们非常仔细地来嗯，嗯合成这个是训练数据，我们就是说啊写了一个simulate。

ok把一个code呢a code从比如说i嗯经过这lins啊，就是说啊map这个center平面，然后呢嗯centre p进行这个采样，然后据说也模拟这个链子的，嗯这个呃模糊的一个过程。

ok然后呢每个每个这个pia，这个嗯即就说嗯在考研上面做这个migration，这个这么一个过程，同时呢还会加加加啊，noise呀，啊加啊啊布乐呀，还有motion blu呀。

然后呢嗯还加这个啊啊反观呀之类的，还同时还加一些image processing，比如说啊jpg压缩呀，然后呢这个呃shining啊之类的操作，这样子的话，使得我们最后生成出来的这个二维码。

跟我们真正的用手机拍的这二维码，是非常相信是非常类似的，这样的话我们在这种合成数据上面，券在日料在上面啊，test啊，这din gap啊是非常非常小，那这样的话能保证在real的sumtt的时候。

那performance的依然很高，接着呢是啊复燃小灯啊，网络设计，接下来呢啊我介绍一下啊，在啊我们在啊计算摄影方面啊，做那个呃一级啊，编辑要来啊做啊snap滤镜方面的工作。

那这里面的话具体来说我会介绍三个工作，第一个是啊3d照片分格化，第二个是呃cloud to sketch，就是在云上素描，第三个呢是信绿的滤镜，首先啊3d照片放个炮，那什么是3d照片放个炮呢。

给定一个呃呃给定一个content image，再给你一个啊，painting，ok，这ping是给的一个风格，那我们就会生成一个风格化的，并且是3d的照片，换一个painting，也就是换一个风格。

再换一个偏题，那3d照片放动画的核心idea是什么呢，是我们要做到啊，view consistency，就是说从不同的视角去看这个3d照片呢，要是嗯这个要没有要要没有抖动的，那怎么做到这一点呢，啊。

我们用到了一个呃呃统一的中间表示一个点云。

那我们在点云上面嗯，做这个把这个点上面把这个啊风格加进去呢，然后呢对于这个风格化的这个呃feature点云啊，我们把它再投影到每一帧里面去，这样的话可以保证嗯现在出来每张照片。

他都是呃它相互之间的话是一致的。

大家看大家来看一下这个嗯效果，这是另外一个结果，在这个结构里面呢，我们故意啊把这个人没有做风格化是吧，背景做风格化，接着的一个工作啊，在云上面素描，lder to ketch。

不知道大家有没有这么一个体会啊，就是啊当你看天上云的时候，尤其是啊看云的时间比较长了之后，你会发现诶你这个云像个什么东西，像个什么动物，啊啊啊，我在这边也暂停个几秒钟，大家看看这些语音像什么。

那我们的算法呢就是呃能够自动生成一些呃，素描，并且呢这个这个素描呢是跟这个云是非常啊，aligned啊，这个素描呢本身就是某种动物，比如说啊第一个云呢，我们把它自动生成出来一个象的素描大象。

第二个的话这个是一个浣熊，应该是这个呢是个狗，这个是个乌龟，ok这个是个熊，然后这边是个狮子狗吧，这边是个鹦鹉，然后一个很有趣的事情是什么呢，我对同一的原因，那不同的人嗯想象中的这个东西是不一样的。

那我们的算法呢嗯也能够做到类似的，比如说对于这一组云，那我们可以生成一组结果。

比如说这个鸟是孔雀啊，这是个狮子啊，那这个是另外一组结果，也是mac sense的比这是另外一种鸟，只是个跑线，这是一个相，接下来呢介绍啊心跳滤镜，新加滤镜是这样子的。

就是嗯用手机的前摄像头来拍摄一段你的呃，人脸的视频，然后呢从这忍者的视频里面，嗯可以估计出心跳的速度，比如说呃是80啊，一秒钟跳80次呀，嗯或者是一秒钟跳100次。

那为什么snap chat对这个方面的研究感兴趣呢，因为嗯心率是很多，其他呃snap滤镜的基础。

比如说呃心跳滤镜，比如a hara harness啊，健身滤镜，比如说你在去健身房之前，你测试一下你的心率，然后呢介绍完之后，你再测试一下心率，那如果这个区别比较大的话，就嗯摩尔生成上说明。

那你要认真健身了，那比如说嗯，我就嗯这个软件呢就会给你一些奖励，第三类呢是呃健康滤镜，那可以用这个嗯检测心率，来估计出你的这个健康情况，这个心率估计啊啊难点是人脸的运动，那如果人脸不动的话。

其实这个算法是可以是很简单的，比如说嗯我就呃比如人脸不动，ok那么我就在视频里面啊，只关注这部分区，然后呢对着去求一个像素均值，然后呢每一帧都会有一个值嘛，然后呢把这个值啊画出来，随着横轴是时间轴。

正直的话就是这个均值相对均值，那如果人人比如这个假人没有心跳的话，那么这个值就应该是个横线不动，那是真的人的话，他会有心跳，那么我们可以看到这个细微的这个波动，ok那对于这个呃波段线呢。

我们做一个频率的分析，比如分裂变换，那在弗雷德在频率里面最高的那个呃，pk就对应的是心跳，但是呢他人脸有运动的时候，那这个问题就会复杂很多，比如说啊这个slider里面这个人在运动。

ok那这个图呢就是啊，嗯比如说就这就是说对这个区域的一个，就是一个相对均值，那每次这个人脸有这么一个呃运动的时候呢，那么这个波动就会有嗯，这项目均值就会有非常大的波动，那这个时候如果我们还对这个呃。

曲线做频域分析的话，那么我们会得到一个错误的pk，在真实的这个心跳其实是这个这个值，那我们是怎么解决这个问题的呢，我们是生成一个新的video，这个video啊是我们自己render出来的。

那既然要扔了一个video，那我们需要什么呢，人脸的这个啊，geometry，人脸的abel，还有光照的信息，那这三个信息呢都是可以从这个input video，估计出来的。

我们先是估计出这个人脸这个gommi和rb的，那这个是比较简单的啊，比如说可以根据cdmm，那有了这个小米9和r b的之后呢，我们可以用比如说用30帧的信息诶，一起30帧的图像，一起来估计这个光照。

那估计出关照之后呢，我们可以来render如啊，每一帧，ok每每就是每一帧里面的这个人脸，那么这时候你再比如说取这么一个区域，求一个相对正值，那么可以得到第二行的这个曲线。

ok然后这个曲线里面是包含不包含嗯，这个心跳信息的，它只包含了运动信息，那我们下面可以很简单，就是比如说把呃原始的这个呃曲线，减去这个呃运动的曲线，那么就可以得到一个心跳only的这个曲线，然后呢。

然后呢，我们对这个嗯心跳oner的曲线做一个频率分析，我们也可以得到一个正确的心率，当然具体的算法不会是直接这么简单啊，这就删减就行了的，但是呢还拉瓦列是这样子的，注意我们这边啊，我刚才提到。

就是说我们嗯啊会故意说这人员这几米水，然后故意说故意说这个呃光照信息，这光照信息是根据这30帧一起估计的，而不是每帧估计的，因为啊按照每一帧估计的话，那么这个关照信息里面，其实包含这个心跳信息的。

那如果我们用30帧信息嗯一起估计的话，那因为这30日星期肯定是已经啊，包含了一个周期的心跳了，那么这时候估计出来的这个啊，关二信息里面是不包含线心跳信息的。

ok对于这个input video，那这个是ground truth的这个心率，那这个是呃前人嗯搜索方法的这个估计结果，那这个是我们的估计结果，可以看到我们的结果跟果然数值是更接近的，即使人在运动。

我们也能挥出准确的心率，接下来啊，我介绍一下我们在计算成像方面的工作，计算成像呢是啊呃硬件和软件的联合设计，在这里呢我会介绍三个工作，第一个是呃基于闪光灯的低光成像。

第二个呢是啊在啊自然有限下面的啊3d传感，第三个呢是透明玻璃的检测，嗯在我讲这个基于闪光灯的激光成像之前呢，我会我先回顾一下，就是低光成像有哪些方法，那激光成像呢一般包含两类方法。

就像我们的一类是什么的啊，带闪光灯的，一类是不带闪光灯的，就像我们的手机里面有说既有这个ntmode，也有闪光灯，那不带闪光灯的方法啊，包含什么呢。

呃single image best和a bimage best，然后呢a versal image best day，就是我们阐述的这个呃呃夜晚模式，他是怎么做的呢，他就是啊拍了嗯。

比如说十到15张照片，ok然后呢把这个15~15张照片一起融合，得到一张照片，这个single image就很好理解，就是说我的输入只有一张张照片，然后呢对这张照片进行去噪或者去模糊。

那基于闪光灯断方法呢啊又有啊好几类，那最基本的是啊使用白的闪光灯，那啊跟白色闪光灯呢其实有嗯嗯有些缺点，比如就像我在啊嗯最早的时候在，在今天套的早的时候说的就是这个啊，flash mage。

它这颜色不是很自然，正是基于这个原因呢，嗯人们提出来了，就是flash flash啊，比如说我们拍两张照片，然后一张是with flash，一张是with or flash，然后把两张照片进行融合。

初中flash初中flash解决什么问题的呢，啊对了，现在的手机一般都是初中flash，在啊网上拍照的时候呢，就是呃如果你的闪光灯是是什么呢，是比如说是白色的，是偏偏蓝的那种白色。

然后你的背景的话是那个暖色调，但那个闪光灯是冷色调，那这时候白屏之后照片是挺难看的，那驱动flash它本身是两个led，然后呢一个led是冷色调的白，另外一个led是应该叫做琥珀色。

ok然后呢通过调节这两个led的相对的强度，来这个模拟这个环境光的这个色温，那当你这个闪光灯的色温，和这个环境光的色温比较接近的时候，那你那么你的白平衡就比较好做，那出来了最终的照片就也会比较好看。

打开flash dflash来解决什么问题的呢，那是啥问，有一个问题就是他人他比较惹人讨厌，ok就是比如说啊谁用闪光灯来拍你了，那么你的眼睛肯定会不舒服，还有一个嗯他也是什么呢，比如说在餐馆里面嗯。

你如果你在吃饭，然后呢突然旁边有个人用闪光灯来拍了个照片，你会觉得非常奇怪，就是他不social friendly，那基于这个原因呢，啊有人就提出来了，就是说我要dark flash。

那就是人眼看不到的这个flash，那本质上就是呃正红外啊，或者是呃紫外闪光灯，那红外紫外人眼看不见，ok，那比如说我用这个相机拍了两张场，我拍了两张照片，一张是带flash的，依然是不带flash。

带flash的是一个就是连续是一个连l r e m，那不带不带flash的是一个noise rgb image，那我然后呢，我在用flash的flag的方法，把它们给融合得了一张啊。

非常嗯好看的一个rgb美剧，这个方法呢嗯天然气很不错，ok他有一个问题，就是嗯，我需要把相机的这个呃a r blog fter给去掉，就是说我们现在的这个手机里面，这个相机它是基于硅做的。

然后呢硅的话它其实是对这个嗯，从紫外到这个红外光都是可以敏感的，但是呢我们手机的相机，它其实是为了模拟这个人眼看到的这个信息，它啊嗯在这龟上面呢又加了一个air blog filter。

就是说把这个紫外光和红外光给过滤掉了，但是呢如果我想用这个da da flash的话，我还有我又需要把这个ar filter给拿掉，l blog filter给拿掉。

这样的话他才能让这个相机对这个呃ar light敏感，当我把这个呃嗯nel blue ftp去掉了之后呢，哎我晚上拍照方便了，但是我白天拍照怎么办呢，是吧，那这个是就是修改现有的这个相机的这个坏处。

那基于此呢，我们提出来的是stereoscopic dark flash，就是说我们这边用两个相机，第一个相机呢就是我们手机，现在的现有这个rgb camera。

那第二个相机呢啊我们使用这个nel camera，ok在晚上的话，我们会拍两张照片，比如左边左上角提供给我们这个noisy的耳机，并image右边照片提供给我们这个nel flash image。

然后呢我们把这两张照片进行融合，这样子的话在白天的话，我们只要左边这个gb开门就好了，但实际实际的啊做的过程当中，我们不是简单的，就是右边这个相机就是一个nel camera还是什么呢。

啊这边对相机是一个啊，他这个bpd是nel green green near uv，ok然后左前进是r g g b，然后呢这两个相机都有一个共同的channel green channel。

然后我们利用这green共同的green channel啊，做alignment，然后呢再做这个flash flash，如果没有这个共同的那个国人签到的话，那么做这个啊。

alignment或者气体分析还是很困难的，因为他们因为你想想把一个nel image，就是ln到一个rgb image上面，他们是处于不同的模态的，那这机的也是非常麻烦的。

我们因为有这个共同的channel i n i m的呃，就简单很多，red flash，那嗯不管是dark flash，还有这个stereoscopic dk flash，我们要么就是修改现有的相机。

要么是增加一个相机，那有没有更简单的方法，就是说我们对着相机部分做啊，不做任何改动，ok我们只改这个闪光灯，同时呢也让这个人，也也让这个闪光灯对这个人眼不敏感，也就比说人眼对这个闪光灯是不敏感的。

那我们发现其实是嗯有这个方法的啊，我们可以把这个闪光灯改成一个深红色的啊，这是基于什么呢，人眼的生理特性，就是人眼对在网上对这个深红色的光不敏感，同时呢相机的话对这个圣痕色的光。

也是依然是有很高的敏感度的，也就是说相机能够拍到一个很好的这个照片，然后呢呃人也是嗯看不嗯不会感到很刺激，接下来我会仔细介绍pon的flash，那闪光呢有一个啊fundamental problem。

就是说看不远，那python flash，就说哎我们能不能把对这个闪光灯做一些修改，使得什么呢，同样的power啊，我们能够看得更远，ok那首先介绍一下啊，reflash啊。

那为什么使用这个red flash，那我们来看一下这个人演的这个视觉系统，但这个呃环境光比较亮的时候呢，就是我们人眼人看到的图像，那我们就当我们把什么呢，把这个室内的光给关掉之后呢，嗯关掉那一瞬间。

我们人眼睛什么都看不到了，但是呢嗯非常有意思的是，在五分钟之后或者15分钟之后，诶我们的人眼睛渐渐的又可以看到东西了，然后散热风扇之后呢，唉我们也能看到非常多的东西，注意。

这时候呢虽然我们人眼睛能看到能看到的东西，但是呢我们看不到颜色，这个整个一个过程呢叫做暗示印，这是因为啊啊我们人眼睛里面有两种细胞，一个是叫做视锥细胞，一个叫做视杆细胞，那当环境光比较亮的时候呢。

我们人已经是用视锥细胞来感受外部世界的，然后呢视锥细胞它能够感受到颜色，那嗯当环境光比较亮的时候呢，呃我们用视锥细胞，然后呢这个这是视觉呢有一个专有的名字，叫做photopea vision。

然后呢嗯这是一些8吨，同样400nm到700nm都是敏感的，当环境光变暗的时候，那我们人已经开始用这个视杆细胞了，那这湿感谢巴拉啊，只对这个不能对颜色敏感，只对那个呃呃明暗嗯敏感，ok。

并且呢他对明明暗的这个敏感程度，要远高于这个视锥细胞，那他的这个呃city fashion是啊，长这个样子的，ok长这个样子，这边有个很有趣的现象，就是什么呢，嗯从视锥细胞到视杆细胞。

他们这个呃sativity function在谱上面是有平移的，你们会发现啊这个视杆细胞啊，但是在室外在视感细胞作用的时候，这个时候的视觉叫做score score topic vision。

那实感细胞啊，对于这个嗯深红色这部分啊是很不敏感的，但是呢相机呢啊，那设计出来就是对这个啊可见光部分400 700，400nm到700nm是非常敏感的，那干细胞对这对这个生活的部分不敏感诶。

那我们能不能用这部分来做闪光灯呢，那deep red flash就是基于这个id。

下面来看一下啊，结果那我们依然是拍两张照片啊，依然是带闪光，依然是不带闪光灯的，那不带闪光灯呢，这个照片呢就会非常的noisy。

那带闪光灯呢就会偏红色，然后呢我们使用这个融合的技术，这是我们的结果，可以看到呢我们结果里面有非常多的细节，变颜色也是对的，这个是视频的结果，那左边的话是啊，输入这个video。

右边的话是最终输出的结果，ok啊pattern flash啊，是另外一个是我们的另外一个工作，那python flash是来解决这个闪光灯的一个访谈变的，problem，就是只能作用于比较近的距离。

那当然啊这个啊场景离相机有比如10米远，我们其实开了闪光灯，我们相机也什么都看不，什么都看不到，原因是什么呢，这个物理定律就是这个闪光灯的这个强度呀，它会衰减的非常快，是随着这个距离的二次方进行衰减的。

那现有的方法要么就是increase power，ok但是呢equest the power啊，对这在移动设备上面是不现实的，因为移动设备上面能量是有限的，第二个呢就是说像一个手游电脑一样，就是说。

我把所有的光都集中到一个很小的范围里面，但是呢因为我们这个对手电脑是work的，但是呢我们呢我们是为了拍照，这个时候呢就嗯如果我们还有这个方案的话，那么这个视野会受到很大的限制。

这是我们的方法，我的方法就是说嗯，从这个传统的闪光灯触发闪光灯，闪光灯就是说各处嗯能量都是一样的，那我们能不能就是说对这个闪光灯就在空间上，就是local里把它给能，能不能就是会遇到一点。

ok会遇到一点，会遇到一点，这样的话嗯，生成我们这种flash叫做pattern flash，就是一个一个的dot，然后在那些dot的地方的话就会比较亮。

这样的话有什么好处呢，当我们使用这个啊传统的flash的时候，就是每个地方它的能量都是一样的，嗯当这个场景的距离比较远的时候呢，然后相机一有噪声的，那这时候啊比如说这个场景的这个edge信息。

那可能以下的这个信息，都会在这个noise符号下面。

那其实什么都没有，但是如果我们使用这个python flash啊，我们可以保证什么呢，在那些有些dos的地方，那么这个信号其实是高于这个noise floor，然后呢呃既然图像就是呃有这个呃吸收特性的。

ok那自然自然有些冗余，那么我们可以通过这些sparse的这个地方，得到了这个信息，然后把整个图像给恢复出来，同时呢我们有这个理论证明，就是说这个啊。

即使对这个普通的这个呃传统这个unit or flash，我们做这个local average，我们的这个python flash依然有更高的性价比，具体的可以看我们的paper，接下来我们看一下结果。

嗯左边的话嗯修了一下，就是我们这场景是怎么拍出来的啊，比如说我们一个呃红色的大巴啊，我们有呃，比如说相机，然后呢有一个flash，ok当我们使用啊panel的flash的时候。

我们拍出的照片是长这个样子的，那我们使用传统的flash啊，same power诶，那这是我们呃呃喜欢长安常常光灯拍的照片。

然后呢我们用啊去噪算法，ok那呃这这这就是啊python flash的结果，那这个是传统的flash，结果可以看到呢，我们的嗯结果里面包含更多的细节，比如这个人啊，然后这个空啊之类的，同时很有意思的是。

我们的方法呢还有一个额外的好处，就是可能get到depth，因为啊我们有个相机，然后呢还有一个python flash，那这是这就是一个结构系统，在具体的算法里面呢。

我们这depth啊和这个图像是一起估计的，这个是另外一个结果，这是嗯实上传统的闪光灯拍的照片。

这是使用我们的闪光灯拍出的照片，并且这里面呢并且我market到了depth，ok接下来介绍一下啊啊资源有限的情况，下面的呃3d传感的工作，比如说在这个呃ar格子上面，ok要做这个结构光，那会面临哪些。

困难呢比如说我们需要这个结构，光系统是非常compact的，就是非常小的，然后呢耗的power也是非常少的，然后几率是非常高的，基于此呢，我们提出来了啊，叫做微机线的结构光。

ok它的核心idea是什么呢，呃就是当我这个当我这个什么呢啊，相机和这个投影仪它的距离是非常近的时候呢，啊我可以用这个啊first一阶的这个taylor展开啊，来近似，然后呢，把一个非线性的啊。

实验过程变成一个线性的实现过程，这样的话这个系统就会更加好解，其实这个idea呢在啊很多地方在计算视觉里面，很多地方都会用到，比如说嗯光流的计算，举例来说是这样子的，当这个啊相机合作的推移啊。

处于同一位置的时候呢，呃这个是一个图像的这个生成的过程，i x等于rox y乘以p x y，然后这个a的话是image，ro的话是rb 6，p的话是这个pro投影仪导数据的pattern。

但这个极限的话不等于零的时候，这个是新的啊，成像模型，那r x等于rox r b的，然后乘以这个pattern，注意这个python这个时候有了这么一个呃u xy。

那这u x y就叫做disparity，然后这departy是跟这个depth是相关的，我们只要求出这个ux就能得到这个depth，但是呢注意这个成像过程其实是非线性的，但是呢有意思的是。

当我这个best line非常小的时候，我们其实可以用这个一阶展开来近似整个公式，那就把这个一个这么一个努linear的一块钱，变成一个linda一块形。

啊这个是实验设备，注意啊。

我们这边相机或者推移它的best line非常小，比如只有15mm啊，这个是实验结果。

这是另外一组实验结果。

接下来呢介绍一下我们另外个工作啊，透明玻璃的检测，那在介绍之前呢，我们先来看一下哥哥的满目。

抖音因为什么呢，这个玻璃啊擦就说擦得非常的干净，然后呢，嗯这位女士呢就是没有看到前面一个玻璃，然后撞到了撞到了玻璃。

这玻璃检测，这透明玻璃检测其实是非常困难的，那我们怎么做的呢，我们是通过观察这个玻璃的这个呃啊，transmission curve，ok根据这个transition课文，我们来设计我们的方案。

那么我们观察我们观察到什么呢，叫玻璃在这个可见光部分的，光照线的透过率是非常高的，但是呢在这个呃远长按就是远红外部分，它的通用是非常低的，那么嗯居此我们就提出来使用啊。

rgb和simon这个camera pe，ok当我们没有玻璃的时候，我们使用这个rgb和sumer camera bear来拍照片，那两个图片里面都会有这个都会有这个tra，当我们有这个玻璃的时候呢。

啊somebody image里面就没有这个ree了，ok那基于这个difference，我们就能分辨出啊前面有没有玻璃。

那这是一个呃呃一个人拿着一个玻璃，然后呢被这个r g b summer camp拍照片的结果，那如果只看这个左图rgb image，那我们很难分辨出其中哪些是个玻璃。

但是呢当我们把两张照片一起看的时候呢，我们知道了哦，这个人手上有一块大玻璃，那这边修出了一个呃我们算法的结果，那左左边的话是rgb image，中间的话是somebody image。

右边的话是我们的结果，但如果只看这个rgb image的话，其实我们很难知道，就是说啊这和这哪儿是不是玻璃，ok但是结合这个sumer image，那我们就很容易分辨出来啊，哪儿是真正的玻璃。

一个很有趣的问题是什么呢，就是我们的算法在未来还能work吗，就是在未来你那玻璃可能是一个别的材料做的，那我们上面还work吗，经过我们的分析，其实我们方法在未来还是worked，为什么呢。

因为既然是玻璃，那么当然我们这边柜主要指的是窗户上的玻璃，或者门上面的玻璃，那既然是这样的玻璃的话，一般都有两个特性，第一个特性是它啊在人眼睛，人眼睛看上去是透明的，那第二个特性是啊，它要是隔热的。

那既然是隔热，那就是什么呢，那我们的这个方法呢正是基于这两个区别，就是说在一二再再再再一一块通过一块不同嗯，在在另外一个地方是不通过的，未来的玻璃也依然符合的特性，所以我们的话依然是worked。

最后呢嗯介绍一个啊偏科幻的一个研究工作，透明的相机，那这个透明相机其实啊是啊，嗯一个非常有趣的一个概念，在这个具体介绍这个工作之前呢，我们来看看这个透明的鱼，ok这是一个真正的鱼啊。

这个这个真正的鱼它净化了1。4亿年，ok把自己的身体给净化给透明了，但是呢眼睛依然暴露了，暴露了他，ok那说明什么呢，把自己的眼睛进化成透明的是非常的困难的。

ok透明相机是非常啊，是是有点反直觉的，为什么反直觉呢，因为如果相机如果一个相机是透明的话，那么这个scissor怎么来接收光呢，因为这个光不是已经透透过它就跑了吗，ok另外一个是什么呢。

如果这个相机是透明的话，那啊这个从这壳子这边进来的光器，不是会打到这个cs上面的吗，那这ser岂不是会收到很多很多的杂散光吗，那我们是怎么解决的呢，这边有点像嗯解一个puzzle。

ok大家可以记住一下啊，我这边说的这个solution，然后呢嗯大家最后可以回味一下，到底是为什么会work，那我们的方法呢，嗯首先要求这个sensor和这个kiss。

还有这个length上面会有coating，ok然后呢，这个sensor和cocs上面的coding是互补的，就是相反的，这样子的话使得什么呢，这砸这个通过这个cast的杂散光。

不会被senator给捕捉，同时要求这length这center上面的coding要是一致的，这样子的话，通过这个length的这个光，能够被这个ser给捕捉到，当然了，我们经过再进一步思考之后。

发现这个length上面其实是不需要这个coding的，也是work的，第二个呢是需要这个sensor上面有这个啊gap，ok就是说比如说呃基数列依然是pixels，偶数列就是完全的是空白，就是镂空了。

这样的话啊在宏观上看的话，就现在依然是半透明的，然后呢呃这个是我们的culture image，ok啊，然后呢，基于这个呃自然图像是呃，空间是冗余的这个特性，那我们可以采用这个图像复原的方法。

可以得到可创建出这么一个图片。

这个是render出来的一个相机的一个效果。

那这个是一个非常有趣的地方，就是这个透明度的分析，从不同的角度来看，这个相机啊啊都能够啊看透这个看透这个相机，比如说如果眼睛在这边的话，那么会有一半的官网可以突击过来啊，不管是从光是从还是从这儿到的。

还是这儿的，ok如果相信如果这个眼睛在这儿的话，那么，这儿有1/2的光可以拖过来，这样的话会有1/4的光给拖过来。

那在我的top最后呢，呃我用snap slogan来解说今天的talk啊，snap是一个相机公司，我们相信呢，相机可以让人们的生活和相互之间的交流，更加有趣，那基于我们公司的啊两大核心产品。

一个是有3亿用户的手机app，另外一个是行业领先的ar glass，团战里面可以提出提出来很多的哎，有趣的和呃实际的计算成现和计算摄影的问题，比如说啊手机app里面有这个计算摄影问题。

包括图像修复和图像的编辑，主线编辑，用图片编辑来得到一些有趣的这个滤镜，ok那在这个增强现实眼镜里面呢，会有啊计算常见问题包括这个呃sensing和display，那我今天的top呢只含只包含了啊。

我们做了现有的工作里面的一小部分，那请大家持续关注我们嗯的其他的研究工作，在未来呢啊我会在我的主页上面嗯一一展示。

嘉宾座谈：智能光学仪器中的感知与计算 ｜ GAMES204-计算成像 - P1 - GAMES-Webinar - BV19d4y1d7oo

ok我们差不多开始啊，各位同学上午好，那欢迎回到games 204计算成像的课程啊，非常道歉，就是我们这周由于这个时差的原因，我们有gler，所以我们把这个课程从昨天晚上常规的周五晚上的时间。

调到了今天上午，就非常感谢大家，周末上午还早起来啊，参加我们的课程内容对，然后从下周起我们也会回到这个日常的周五晚上的时间，请大家继续关注我们的这个课程通知，那今天我们非常荣幸啊。

邀请您到了来自加州大学伯克利的王崇利博士，对，那他现在是在加州大学伯克利cs这个答案的博后研究员的工作，那师从的是这个广场成像以及观察显示领域，大家非常熟悉的ng嗯新生，然后嗯做的是一些跟视觉相关的。

然后有一些计算成像的工作呃，崇利博士之前是在cost啊，是从计算成像大佬wolkpatches，在之前是在这个天大拿到了本科学位，那他在本科期间也在哈佛大学进行了一些访问和交流，然后大家如果有问题的话。

欢迎随时在这个弹幕评论，区留言也欢迎这个后续可以在啊，有些交流活动对我们可能大概就是在一个小时之后的这个时间，我们会有一些呃更多的q a，那王博士也会在线给大家分享一下。

对这个留学对计算成像一些感兴趣的问题，我们把舞台交给王博士，好的啊，谢谢谢谢啊，一帆的介绍，然后我现在分享一下我的屏幕，大家可以看到对吧，ok贵，那我们开始吧。

然后今天的主题主要是讲讲智智能光学仪器中的感知和计算啊，然后这个是这个agenda，但是啊我们这个课走一个半小时，所以说可能有点紧时间，我觉得我主要想提的主要是讲一下我博士期间的工作。

就是做这个计算模型传感器，然后以及另外一个我想重要想分享的是这个我们我不是后期做的工作，这叫auspicion啊，这是这是全世界第一次在中文平台上面公开我们的研究，然后我觉得会非常巨大的。

肯定会大家肯定会非常感兴趣，这个内容哈好好就这样，首先第一个部分啊，就是讲它这个波形传感啊，啊首先就是我们讲一下什么叫什么什么多钱对吧，就是为什么呢，因为当你观测星星的时候，因为大气的大气湍流。

所以这个星星会发生这个会有这个啊肉眼可见的这个模糊对吧，因为这个大气团又改变了这个呃空气的温度，然后温度的变化改变折射率，然后所以说光线不能完美的聚焦到一个点，所以就会产生一个问题，然后天文啊。

天文学家大家就用你这个叫自适应光学去校正这个即便播前，从而得到一个呃很很锐利的一个图片，然后除了天文的话，就是但是在在这个就是在显微镜里面，就是比如说啊左边这个图片呢是这个叫名场显显示的图片。

就是就是你像我们小学初中用的这种显微镜去拍这个，这个是我个人的，这是我的口腔上皮细胞，然后你会看的话，你会发现他大部分是透明的对吧，然后你很难看到一些他组织本身的一些细节，右边这个图的话呢，就是啊就。

是如果你能获得它的相位，或者是说他的啊这种啊相位的这种就是就是光啊光程变化的程度的话，那么你就能得到关于这个样本更多的拓扑的一些信息啊，这都是啊，这都是这个拨弦或者是叫相对更有用的部分。

同时的话在这个眼科也会有很多应用，大家像你像我的话，我是近视，我需要戴眼镜对吧，就是因为我们的人的眼睛不是完美的，然后他总会有各种各样的相差，然后这个象它怎么去描述呢，就用拨前去描述啊。

一般我们是就是就是描，述这个嗯这个呃即便拨弦偏离理想啊，理想球面的这一个程度用来这个来，用来用这个来表示你的这一个眼睛的这个相差的大小，然后这个很有用，是因为比如说你要配眼镜。

你要测这个度数和你的闪光对吧，就是所谓的defaulus是和这个cmd c对吧，然后两种毕业相差，然后或者是你做激光手术，你也需要先知道你的这个近视的程度，然后才能去做手术，所以这些东西都很重要。

所以什么说微风的测量是很重要的，就是播前的测量是很重要好，然后呢拨弦很重要的话，我们怎么去测量它呢，这，就是所谓的via sensing啊，然后这个问题很难，为什么呢，是因为呃播前呢。

它是一个它是一个关于这个光传播的这一个不同光程差的，这个这个问题，像左边这个图啊，像有个波前，这波线怎么描述呢，就是说你可以认为这个波前是在从同一个点发出来的所有光线的集合。

但只不过呢因为一些因为成像系统中的一些一些问题，但是呢这个球面波发生了一些变化，就是嗯然后这个球面不上这个这个曲面上每一点的这个法线，方向就是你可以定义这一根光线。

然后我们想要知道的就是这一个啊这个表面的变化，然后这个测量很难，为啥呢，是因为如果你从几何光学的角度出发，因为我们人类的传感器是是只能检测到这个光的强度的变化，它检测不到光的项目，光光的方向的变化。

也就是说你像我同学那个图画的就是同样一个这个这个pixel对吧，它只能检测到这个这一束光到底有多强，它不能解释到这个光从哪个方向来的，然后呢，那怎么办呢。

然后嗯我们的我们的光学工程师就想出一些很好的想法，怎么去测量它，比如最最最经典的就是用这个维通讯阵列，就是把一个通讯阵列放在这个这个传感器前面，然后呢你像左边那个图，就是说当你的拨弦是平的。

比如说你是啊这个这个这个这个成像点的，这个这个这个误点是无穷远的地方，然后那么它出来的平面波就变成了一个呃，呃球面波就变成了平面波对吧，然后这个平面当你有平面波的时候。

那么每一个微通阵列都会都会都会聚焦到同一个同一个聚焦点，那么你就能，得到这个啊这个嗯就是就是regular sample的这个点阵，然后当你有畸变拨弦的时候，就是右边那个图bug的时候。

那么因为因为拨弦的存在，所以说每一个这个法向方向的光线都会有微小的偏折，然后这个微小的偏折，我们根据这个呃，就是就是这个这个最简单的这个这个叫薄透镜成像公式，你就能你就能知道这个这个光线。

它它中心的光线肯定是曝光过，光线肯定是肯定是不会不会变的对吧，然后就能你就能推测出这个每一个这个拨弦上的每一个小小小区域，对应的这一个没同层，另外后，面都会成一个小的点，然后这个点会发生。

你就可以可以看到这个这个点，相当于原来这个平面膜会有一些小的偏移，而根据追踪这个这些需要点的偏移程度，那么你就能反过来求解过程，然后除了刚刚说那个男的那个呃波形测量的方法。

然后还有这种更更更加就是更加复杂的一些光学编码，比如这里的话，它是用一个叫剪切干涉，很像哪些干涉的一个一种方法，就是就是不用为通讯阵列，但是用这一个啊这种周期性的这种这种啊叫什么啊，叫规定对吧。

就是这个光栅，然后去得到这，样的啊，这样的这个这个点阵，它的点赞会发生变化，然后就重新把它解出来，这个原因就是因为就是如果你用这种微信链的话，它最大的问题是横向分辨率比较小对吧。

因为像我这个图里面画的就是你这么这么大的一个一个市场，但是你只有三个维通行证，那么你能测量的有效的拨前的数量就走三个对吧，然后这个也相当于是你这么这么大的市场，只能采采用三三个点，然后这个不是很有效率。

就是为什么他们其他的研究，横向剪切干涉，他们就提出用这种啊光栅去去做，然后去提高分辨率，因为你看这里的这个点点的数量变多了对吧，也就是它有效的这个分辨率变多了，然后他就可以呃去改进它横向横向的分辨率。

然后除了那除了那些之外的话，然后还有这种啊，就是叫基于这个courage sense，就是就是基于courage sensing的这种这种方法。

就是用去求解这个呃transport intest division，就很像这个光线传输方程，然后去求解，然后就像这种方法的话，你是需要呃要需要多这边的图的图像在不同的轴向位置的呃，去测量，然后去求解。

然后你，才能得到这个过程，然后有那么多的拨弦啊，波形传感器对吧，然后一个很自然的问题，然后这就是我啊，但是我们不会讲很多低调，我们会告诉你这个结论是存在的。

是我们的确可以用统一的理论去去表述他们所有的现象，然后呢既然我们有了这样一理论的话，我们自然而然会想什么样的一种玻璃传感器，可能是比较比较呃，比较最优的，就是在某些角度中，从某些这个性能角度上讲，它。

是它是它是最优的，然后这就是啊我今天主要讲的呃第一个动作，这这这是我我之前博士期间做的一个工作，就叫做cod播放先手就是编码的播音传感器，然后是是怎么样的，就是嗯还是跟之前的传感器一样啊。

但是我们唯一的区别就是说我们不用这个return列，或者是不用这种周期性的这种啊光栅，我们用一个随机编码的一个啊binary的一个empty mask是什么意思呢。

就是他就是我们呃在这个神色前面非常短的距离，像比如说1~2mm的地方，就基本上就是把这个mask紧贴的这个玻璃放置，然，后做一个啊，这个mask是啥呢，就是就是一个随机分布的一个零或一要么透光。

要么不透光的一个很多个随机小孔组成的一个眼膜，那为什么要做这个呢，这个主要的目的也许是这样的，就是我们之前对这个播音传感器的这个建模，然后表明啥呢，是这个微动传感器的性能啊。

它其实完全不取决于你前面这个光学元件放的是什么，你可以放这里，也可以放在任何这种规定，最重要的是这个这个嗯你放置之后，你就是你需要去思考它的这个理论分辨率，和它这个后面后和后期计算的这个，啊成本。

对然后所以说我们做的这个工作，就是因为我们认为呃前面的oopoptic是对他影响不是很大，然后这个现在是这样work的，就是首先左边这个这个图片还是一样，还是跟我们之前一样，是没有任何机边拨弦的时候。

我们测我们先测量一个眼颜色啊，斑为什么会有颜色斑呢，为什么它它原来是零和一，但是后面我们得到了，甚至得到图片确实是就是灰度的，就是因为这个距离特别小，然后这个颜色会比较大。

因为这个百度remark的这个feature size很大，然后当你有即便拨浅的时候，这个颜色啊衍射斑会会随之移动，然后每个每个像素颜色斑的移动呢对应于那一点播前的呃，很像梯度，老这样说可能比较绕。

然后这里有个ination可以展展示一下这个这个这个原理是什么，就是当你把这个mask放到这个cs前面的时候，然后再在这个在平行光的照射下，然后你就会看到像这样的颜色般啊。

然后这个是simulation，但不是实拍的，但是我后面有个实拍的图，那为什么会看到这样的原因，就是因为这个距离像我刚刚说的是1~2mm。

然后前面的这个mask的feature size是每个像素是啊16微米左右，16微米左右，然后就说他这个有的时候隐隐的效用会比较会比较明显，然后左边这个的话是个是个gif动图。

就是表示的是当你没有级别模型和有级别拨弦的时候，你拍到的身体上拍到的图片是什么样，然后如果你仔细看的话，你会发现这个也是也是还等会做行为的改变啊，然后这个改变就是我刚刚说的就是每一个像素的移动呃。

代表的是那一点拨前的横向梯度，也就是中间这个图这个这个这个矢量图表示的，然后在这个情况下，仿真的是个这个高斯波前，所以你可以看到高斯波前打扰一下王博士，稍微打扰一下。

那个这边是有一些同学在这个b站上面会有一些问题，所以可以关注一下，看一下，那比方这边有一个同学问到说啊，这个wave sensor的标定啊，这边刚刚你讲到了需要一个平面波。

但是通常来说这个用于标定的平面波很难是比较理想的，所以有没有一些comment啊，这是个非常好的问题啊，然后我想提的是，其实所有的微风cs都是治标定的，换句话说，比如说当你的这个平行站的这个平行光。

你固定的时候，如果你在同样一个照明条件下测量你的畸变前，那么你的即便拨弦只会在这一个原来的这个呃，拨弦上面发生一个偏移对吧，因为微风设置它只是测量的是你相对于参考参考波形的变化对吧。

也就是说你的这个标定你不需要非常完美的平面膜，你只要因为它是个自标定的系统，它跟参考参考波前的形，具体形状其实是没有关系的，就是在补充一下，其实大家可以理解为。

就是目前slice这上面的b减一的过程是一个相对的过程，对是的，说的很对对，因为为什么呢，就是就就就就就就是因为这种这种传统的工程师啊，他们都是你像我这个前面写写的是slope space。

就是就是所谓的这个基于梯度的，因为你想看梯度的话，你对波全球的梯度，其实你完全没有关于梯度绝对值的信息对吧，也就是这个dc turn，就是这个这个这个常量是是不重要的，对不对是吧。

就是说这个参考其实所以它所以它是个自标定的过程，ok好的，谢谢，那可以继续往后面再讲下去，对我们后面可能还会有一些问题，那大家随时留言提问，谢谢啊，可以可以好的好的啊，好然后然后刚刚说到这个啊，我看啊。

对对对，然后就是好，然后那么那么它的每个像素的变化，就就是就是就是编码的这个波形的梯度啊，好那么如果我们能解除这一个梯度，那么我们在这对这个题目出的就积分，我们就能反向走到拨前对吧。

然后就是右边这个图表示的，然后这个地方因为拨弦是个高斯，然后我只是把它做了这个二派，这个呃这个磨平，因为他这个这个fish是周期性的数字，然后然后就是这样做的，可作为可视化让大家看一下。

然后怎么去求解这个问题呢，然后我们可以写这样一个非常简单的一个数学公式去表示它，然后像像这个公司怎么推的，然后在我之前的文章里面是有大家可以感兴趣可以去看啊，但是我在这边不会仔细讲。

就是左边这个动图呢是我们两张图片，一张是我们标记的图片，第二张是我们有级别模型的图片对吧，然后我们的目的就是就是求解每一个像素它的位移对吧，然后这个像素的位移啊，就是跟什么成正比呢。

跟这个先跟这个跟这个呃这个mask跟这个选手之间的距离z成正比，跟我们所所考虑的参考参考这个啊，参考这个拉姆塔，就是就是我们的这个波长是成正比，然后以及供我们的这个波形的梯度成正比对吧。

然后这个问题其实就是最最经典的这个叫计算机成像，计算机视觉里面的光流估计的问题，然后我们如果能解除这个sp之后，我们再做积分，就能得到这个波前，然后这是我们后台的一个sensor。

就是就是我们就做了个mask，然后把它放到这个三的前面，右边是实际拍的，这个在平行光下面的这个这个这个defcon老师，然后把这图放大了，可以给家给看一下。

然后这个这个python的确是有很多高的频率的，这些这些这些小小的点，然后这下面是一些实际的一些重建的一些结果，左边是实际拍摄的图片，右边的是重建的拨弦。

像这这个这个地方是个球面波，然后这个呢是一个啊是一个大气湍流的，这是一个热空气湍流的一个一个结果啊，这是另外一个啊，时间有限，所以我过得很快，但大家大家有兴趣的话。

可以可以去仔细看那个文章，因为我实在是很多，然后我我就我我觉得后面的更重要啊，然后我们还做了一些实验去表明我们的这个精度的确是可以的，然后在这里的话我们是用一个sn，就是这个叫空间光调制器。

然后去产生这个这个实际的拨弦，然后用我们的生产去测，然后这是右边是结果，可以看到这个这个error很小，然后最关键的是这个算法其实可以做的很快，然后在gpu上的话，我们可以做到50帧每秒。

就是我们的我们的这个，你可以看到这个地方有我们搭这个非常小的一个设备，然后我们的微分在上面我们可以直接插到这个外星人笔记本上面，用它的gpu直接跑，然后这里这里是一些额外的一些这个视频的一些结果啊。

像这里的话是最简单的一个词，它这个非常简单的一个，就是这个目的就是给大家看看这个demo是怎么怎么work。

嗯你像这个地方的话。

我我是给他呃，用打火机给它加热空气，然后我们空气我之前说过，空空空气这个温度的变化会导致折射率的变化，所以这个拨弦因为折射率变化的话，这个每个光线传播它也会发生变化对吧，然后就会有等等等的波线。

我们可以测出来，另外一个的话就是做这个default，就是如果我移动其中一个透镜稍微移动一点啊，然后就能看到这个这个球面波的变化，然后你就可以看到这个这个球面博士怎么变化。

然后刚刚那个是刚刚那个是这个sense的这个呃基本原理。

然后，然后呢我们就我们家有个这样的sensor对吧，然后我们就会想要做一些应用啊，然后有什么应用比较好呢，像像像第一个应用的话，可能就是自适应光学，因为我之前也说了，在在天文里面自适应光学是很重要的。

因为什么波形传感器很重要，就是因为它能测量拨前得到拨钱之后，你就能对这个波形做校正对吧，然后这这这这是我们之前的一个呃一个应用的一个文章，就是用这个vivo sensor去做自适应光学。

然后这大概是这样的啊，就是我们我们自己搭了一个自适应光学的一个系统，然后当有，这个当有当有这个这个呃即便存在的时候，然后你像这相机拍到的图片就会比较模糊对吧，像中间这个情况。

这这这这个情况是我是放了一个ls啊，右边是我们这个做完a o之后的结果，然后你可以看到这个自适应光学，它可以去啊去校正这个啊积电哦，然后所有的扣都在这个吉他上面，然后大家注意有兴趣可以看啊。

虽然这个扣的是很很早写的，然后可能不是很成熟，然后呃那我们再回过头来讲一下什么是自适应光学霸好吧，而且这个也很重要，对我后面的一些cp是。

然后这个就，是我之前说过的，就是当你看天上的星星，天上星星会一闪一闪，这个原因是啥呢，这个这个原因跟这个跟这个你在很热的天气去去眺望远方一样，你能看到这个地面是这种有这种这种his effect。

这个原因就是呃就是我刚刚说的是大气湍流的这个折射率的变化，然后这一切都可以反映到波形的变化，然后嗯好，然后的话呢我们有这个turbulence对吧，你像这个星星他有特别ence，然后我们在现实上。

我们在camera上看到的这个图片呢就会呃有这个畸变对吧，像我这个动画里显示的这个星星就会看到很，多个artifact，多很多个尾像，然后ao的作用就是就是什么呢，就是我们要用一个播音传感器去去测量。

去测量这个这个turbulence对吧，像这个你像我这里画的就是这个最经典的是tm选手，就是当你特别认识到这个陌生的时候，我们我们用计算机去啊，通过刚刚的这种呃这种图图像去去解码这个波前。

然后我们把反向拨前输入给这个我们的校准器，校正器可以是这种deform mirror对吧，然后这个这个地方就是一种非常可以非常快速变形的一种变形镜，好多变形镜就你你去施加反向拨弦之后，那么同样的。

这个保险过来之后，经过defamo之后，它就会变成变成呃教程好的拨弦，那么这时候你得到的这个图图片啊就会变得清晰对吧，然后但是大家要注意的就是就是呃有有一个问题啊，有个小问题是是为啥呢。

是我们成像的是这个星星star，就是蓝色这个点，但是我们实际测量拨前呢，我们可能需要可能需要额外的这个叫gsta，就是这种引导性，因为这个有的时候我们我们想要实际呃成像的这个物体的这个波长啊。

可能跟我们测量vivo的这个波，长可能不一样，因为假如说这个我们这个guar，如果是跟这个跟我们想要成像的star是是都可以被相机观测的话，那么相机就能看到两个像了对吧。

一个是这个star的这个蓝色的星星，一个是橙色的这个点，然后这是我们不想要的，就说一般我们会把这个该star和这个我们真正想要成像的这个star用，用不同的波，用不同的波长去啊得到好。

然后我们讲了这个image formation model啊，就是非常简单，就是比如说你有个物体，然后你的理想情况下拨弦是目前是平面波，然后我们能能得到一个一个很自律的图片，对吧。

但是呢当你有即便拨浅的时候啊，因为有级别拨前，那么你的p s f就是不再是一个完美的一个，一个非常好的一个爱理班啊，就是不再是这种非常完美的情况，那么就会有这种呃这种这种blur对吧。

然后就像这里这里是一个唉你没选，就是就是展示这个psf到otf的一个过程，然后以及以及遇到可能遇到这些问题，是因为你这个你如果去考虑这个分裂变呃，复裂光学的一些一些过程的话。

你会发现这个这个o t f就是will post对吧，就是因为它在频率里面有很多有很多零了，然后你很，难去做反你就把它写出来，当然也不是不行，但是就是，等一下，啊这这些slash有点问题，把这些跳过。

等一下啊。

all right对，然后就是嗯就是刚刚说的这个这个在频率率，有有这个有这个零点的问题，然后但是也也不是不能解决，像你像computer vision的人的话，他们就会做这种叫迪科目lution啊。

然后用神算法去解决这个问题，但是我们我们刚刚说的是自适应光学，它既然已经在天文中存在这么长时间，那么我们很赞同嘛，就是说我们想用自适应光学去解决这种我们平时用的相机的这个问题。

然后相当于是我们做的不是被动的这种反转机，但我们做的是主动的，我们做的是我们就是我们做的是主动的，我们做的是主动的反潜机，也就是我们用硬件去做反潜机，而不是用软件啊，这是最大的区别。

然后这个右边的话是对。

右边是个动画，然后表示的是这个啊。

等一下这个为什么我发不了啊，好的好了，就是这个右边这个动画表示的，我们这个搭建这个这个自适应光学系统的这个过程，就是我们有一个物体光是可见光啊，是我们想要观测的，同时我们还有另外一个曝光。

是我们所谓的引导性，用来测量拨浅的，但是是呃近红外为什么要进红外呢，就是因为我们不想让我们的相机能拍到这个引导性对吧，然后当有这个蓝色拨前呃，脑洞在里面的时候，我们的工程传感器就能测量这个波形的变化。

然后并且去嗯去让，sn去教训他，我这里给大家看一下这个demo啊，这里是一些测试。

比如说像嗯在在在在这里的话，我们是用了一些这种自己做的一种这种这种这个变形的玻璃片，然后去啊就去制造一些这种嗯光学畸变，然后大家能看到一些这个去测试我们的系统，然后这里是额外的一些例子。

我突然发现我讲的太慢了，所以说我我我我我在这边可能会跳过一些东西，好然后这里的话是额外的一些实验的一些结果，现在这个就是我刚刚提到的这些不利片，然后我们用这个去做测试。

然后去去验证我们的ao的这个系统的这个这个程度，然后这是一些例子，所以这就是给大家看一下这个播音传感器它有什么用，以及它为什么能够自适应光学结合到一起，后来然后这个我我前面提过。

就是嗯用软件也也也能做这个反潜机对吧。

但是为什么我们要用硬件做呢，就是因为结果就是在这里给你展示一些，我就是啊，同时我们的论文里面还跑了一些跟其他纯软件的方法呢做了一些比较，然后你可以看到除软件的方法的话，它会有一些各种各样的一些问题。

这个原因很有可能是嗯就是就是软件上它有一些假设，它可能在真实的实验里面可能不太成立，所以它可能会有这种各种各样的art选择，然后就是我刚刚提到的这些这些问题好老的是第一个应用对吧。

第二个应用的话就是除了呃支持光学。

我们还能做这个显微镜啊，为啥呢，就是我刚就我刚刚给大家提到的那个例子，就是呃名场名场成像的这个样本，可能可能啊不是不是我们想要我们我们可能得得到不了太多拓扑信息，但是如果我们能对他做相位成像的话。

那我们我们就能得到更多的这个呃拓扑信息，你像这里是我们呃自己搭了一个显微镜，然后我们把我们之前起初的那个波纹传感器作为作为探测器使用，然，后呃右边是我们拍到的图片啊，然后我们根据这一张图片。

我们就能重现出它的幅度和相位，然后嗯这个过程是这样的，就是唯一的区别，就是说我们第一篇论文我们只求解了相位，但是呢在显微镜这个样本里面，这样本本身它是有吸收率的，你像我这里给大家看下图呢。

是啊是我的红细胞，然后第第一张图片这个i这个i0 是啊，那么下面这个测量measurement里面的i，这个是实际有样本的时候拍到的图片，所以大家可以看到就是这个这个散斑不仅存在它有移动的情况。

它还会有这个明亮程度的变化对吧，然后这个对显微镜是很重要的，然后我们，就是提出了怎么把我们的算法改进，然后使得它不仅能求解国前，也就是说相位还能求解出它的幅度啊。

哦就是右边这个结果表示的就是a是它的幅度啊，啊这个fight它的相位，然后就是如果有同学不太清楚，我在讲手的话，就是就是这个这个概念是这个波动光学里面的概念啊，就是嗯就是当当你有一个这个相干光啊。

相干波的时候，这个波本身啊，每一个点的这个这个强度可以用这个幅度a表示，然后每一点的相位呢可以用这个fi表示，换句话说就是说如果你从几何光学角度考虑，的话呢这个相位fi就是我们之前说的每根光线。

这个呃法线方向偏离这个传播方向的这个角度，然后以及这个a呢就是这每一根光线这个啊radiance的这个强度，然后这里是一些实验结果。

你像最左边的话是原始的数据啊，就是我们实际拍到的图片，然后中间和右边呢是我们算法重建的结果，然后大家可以看到就是这个我们的深色的确可以重建出这个啊啊，幅度和相位，而且右边最右边的相位的。

大家可以看到这个我们红红细胞是有这个叫这个downership，就是还是有这种，然后进去像这个像这个叫做甜甜圈的这种形状，然后大家可以看到很可以可以看到这个这个形状非常有非常有意思。

然后另外一个有趣的应用就是说嗯如果如果你熟悉这个波动光学，你会知道，当你完全知道了幅度和相位之后，你只是你完全对这个服场所有信息你都了解了，那么你能做的是什么呢，你可以做这种叫数字从聚焦啊。

就是说比如说左边最左边是我们之前测出来的这个幅度和相位，那么我们跟这两个信息我们就可以组合成一个服场，然后我们就通过对这个服厂做啊，肺炎而衍射去在在在数值上去传播它啊，那么我们就得到不同传播呃。

呃这个这个这个平面的这个呃光的强度，分光强度的分布啊，这个情况呢就是一个委托镜阵列的其中一个委托镜，大家知道委托镜是用来做呃聚焦的对吧，然后那么你对我们这个服厂做做这个propagation之后。

那么我们就能得到一个聚焦的光斑对吧，就是我们这个动画所显示的，然后这个这个图更更更直接的表明这个这个什么。

这是个什么过程，就是我们传播这个符号，然后我们能看到这个啊，我们能看到这个呃这个服厂从从从这个从这个聚焦到离交的这个过程，然后另外一个例子就就是这个叫啊红就是红。

就是我的这个红细胞，然后左边是我们之前测量出来的这个幅度和相位，然后右边是我们可以做数字程序，要的结果好，大家可以看到这个每个细胞是怎么从聚焦到离焦的过程，都可以看得很清楚啊。

然后这里有一个比较有有意思的地方是在于嗯，因为我们这个样本采集的时候是放在这个载玻片，载玻片上面对吧，上面盖了盖玻片，然后这个本身这个玻璃板它可能本身啊不是非常聚焦的好。

也就是说我们原始图片里看到这个每个细胞，它都会有这个有这个有这个圈圈在这里回到了他们每个细胞边上对吧，但那个圈圈呢其实是衍射斑啊，这是因为你做了颜色之后，它这个边界会有这个颜色的这个文。

然后如果通过数字数字从重聚焦，我们就可以重新要重新聚焦到我们这些细胞上面，就是中间那个图显示，所以你看这个距离非常小啊，就是你做一点啊，王博士再打扰一下啊。

对这边其实这个弹幕还是有不少同学感兴趣的一些问题的啊，那有的同学问到啊，你这边提到了这个新的这个方式，跟之前的那个通过干涉波前探测的一个比较，可不可以再给大家这个呃简单的强调一下。

或者是提一下这个哪些优缺点，各自的这个特点，从这个速度的角度来说，各自的优缺点是什么啊，可以可以可以的啊，等一下啊，那我回到之前的li。

嗯这个非常好的问题啊，我觉得是非常好的问题，啊对一般其实做这种所谓的这个波前探测和相关恢复啊，也其实就是一个no standing the tradeoff，就是所谓的这个accuracy跟speed。

所以其实不同的算法啊，当然是有硬件的部分的不同啊，然后也主要就是各自有侧重，对就是我国目时候给大家分享一下，对我觉得最重要的一点是什么呢。

是你像这个工作是横向干涉剪切的这种方式，他需要一个周期性的这种empty的max规定，换句话说就是说你必须要保证你加工的时候，你的这个规定就一定要是这个样子对吧，这是第一个问题。

就是你加工你必须得非常precise，但是我们的情况呢我们这一个vivo生成是随机的一个眼膜对吧，你换句话说你其实根本不需要做非常精精细的加工，也就是加工这方面有非常大的优势啊，这是最重要的。

然后其次的话就是它这个amp t规这个规定啊，它是需要打光的对吧，大家可以看到这个你像你像这个这个这个图，这个就是因为如果把光挡掉的话，它这个嗯能量会有损失对吧，然后你的噪声可能可能会变高。

然后这就就不是呃就不是很好对吧，老是这个问题，然后我觉得这是最大的区别，硬件上也就是说他们这个，要量产的话，你就得你就得做，就就就得用非常嗯就是就是你得你得你就是就是你得非常非常精确，去求这个mp规定。

为啥呢，是因为这个硬件跟软件是是这个couple的啊，就是就是就是耦合的，因为你为什么还要做周期性的empty规定是吧，为啥呢，是因为这种周期性的这种性质可以使得它的复利也被它。

它使它可以在复利率里面去去用，然后这个不知道大家其他同学有没有听明白，就大概就是就是跟这个这个跟这个跟这个叫，什么这个叫就跟这个就是跟这个通信里面这个载波的这个思想很像，就是你把你想要调制的信息啊。

啊通过这种呃这种周期性的这种高频的这种啊从阵列转移到高额，转移到频谱比较高的地方去，然后你再你对你的原始的图像信号做分裂变换，然后那么你这些编码的信息就会就会落到这个频谱的呃外面。

然后那么你就你手动把这个频谱crop一个小的部分，然后你再把它重新位移到中间，然后你再做反复列变换，就大概是这样的一个过程，最大的问题是在于什么呢，是是你做这个的话，你一个是需要这个硬件。

需要这个周期性的排列，不然你的分裂变换你会不准，然后第二个问题的话，你会不可避免的有精度损失对吧，因为你想看你如果是1024x1024的图片，你要做分裂变换是114x1024，然后你你做cp之后。

你的有效分辨率会降低，对不对，这都是问题啊，所以说为什么我觉得我们的设计比他们优优秀的地方，就在于这个硬件跟软件是解耦的，对吧，我们的硬件不依赖于软件，然后我们软件可以适用于任何的mask。

这是个最重要的最重要的区别，好谢谢这个同学有个后续的问题啊，刚刚你可能也提到了一些在编码方法上面，就是跟g4 不相宜的干涉方法相比，有什么优缺点，对就是我刚刚说对吧，就是嗯四不像。

刚刚也已经基本上我回复了这个问题，对，首先这个这个四不像已，如果你如果你要用干涉去做事不效应的话，你相当于你得你得去做这个face shifting对吧，你得你得对，就是因为如果你想要拍一次照片。

就能得到拨前或者是其他任何的信息的话，你你说非shift可能不行，对不对，然后对，然后有人前期主要说的就是说相较于传统的四部相应的方法，我们更希望通过一些encoding的方式。

使得你的这个capture的过程能够尽可能地简化，其实相当于是一种one shot的方法，对对，就是对这个是很很好，绝对就是就是因为像我刚刚说的这个大气湍流的变化，它它很剧烈，很变化很快对吧。

我们想要尽量快的得到这个波形变化的信息啊，就是就是对吧，所以为什么这个我们叫光线传感器，为什么他们大家都想要做snapshot，大家都想要用一些这种确定性的这种模型和这种方法去求解。

不想要任何的太多不确定性，就是因为我们想要尽量快尽量准确的去求解这个拨钱对吧，然后还有个问题就是就是对，还有一个问题就是如果你用这种这种干涉移动方式的话，这种其实，它会比较敏感，对这个对这个光路的变化。

然后就是这话你像在天文里面，你是无法用该设计去测的，然后你很难去去去这个去这个做，那就是很好的问题啊，好的谢谢，那我们这边还是比较这个generalize的，关于这个领域的一些问题。

咱们留到这个第一部分结束之后，咱们做一个简单的总结吧，各位同学请稍微耐心一下，对我们先先把这个因为王博士今天可能会讲两部分的内容，咱们先把第一部分的内容由于时间关系先先讲下去。

对我们后面再找一个第一部分，结束之后抽一些时间一起来回答一下大家的一些问题，对对对，就是大家大家不要急哈，因为那个嗯大家还是可以随时提问的，对就是如果没有特别跟当前slash相关的，咱们立刻先回答一下。

还有一些比较这个啊普适性的可以探讨性的问题。

咱们在第二就第一部分结束之后再来讨论，谢谢对对对，我们做室里面可以继续啊，对然后然后刚刚讲就是这个叫什么，这个叫哦对，这个叫这个嗯，d j都refocusing对吧，就是这个数字从聚焦。

然后这个就讲完了啊，就是大概就是这两个应用对吧，给大家看一，下就是因为我今天本来不想讲太多很深的东西，因为大家知道大家都是同学对吧，实际上给大家介绍一下我之前做了什么工作。

然后然后然后这个是刚刚第一部分，然后第二部分就是所谓的可微跟光学，然后这个这个我觉得是个很很比较有趣的一个点啊，大家可以大家可以大家可以思考一下。

然后就是呃我我主要会讲我我就是一篇呃在under review的文章，然后另外一篇是这个但是范围oe上的文章，然后这这第一篇文章还没有出来，所以说我很多细节不会涉及，但是会给大家看一下结。

果好这篇文章的一部分，一就是这之前多ptation还很荣幸得到这个最佳学生论文奖，给大家看一下，好现在需要切换一下slice啊，因为这个slice在呃这个这个是不上。

放出来大家可以看到对吧好的，然后就是嗯首先就是计算选项的过程，就是就咱们上的课很久，然后你们肯定也也了解过什么是计算成像，就是啊你有你有个有个情况模型，就是我这个你图里面画的兔子。

然后这个staff bi呢是通过我们一些光学，也是有一些硬件，然后能能对它成一个像，然后我们镜像成像关心的问题呢，是这个反问题是怎么从这一个我们拍到的这个图片去做一些计算。

通过软件去求解出一些我们关心的参数，对，然后这个这个问这个这个问题怎么求解呢，然后有很多方法可以求解啊，然后对最经典的就是我们我们有些变量，这个变量叫x然后我们有我们的这个成像模型f这个函数。

然后我们得到我们的测量是y，这个y是fx加上一些噪声，然后我们想要做的就是说我们怎么去求解这个正向模型，怎么从fx减y定义一个loss，然后去去求我们想要估计的这个参数x，然后这个过程怎么做呢。

你们可能知道啊，现在这个什么学校都酷，都很火对吧，大家一般都是进一个loss的时候，直接用这个海涛去做规定design是吧，就是做t下降去求解，所以说这个是非常有优势的啊。

就是也就是说你相当于是你任何模型，都可以用这种梯度下降的方式去求解，就是我这里就是我这里写的就是x呢，是你可以用通过这种迭代的方式去解，就是每一次你你下降一个，你根据当前当前当前的梯度去做一个tv差价。

然后去更新你的x，然后但又有个问题了，然后那那你有个fx一个模型，你怎么去求它的梯度呢对吧，然后这么这这里的话我就要简单的介绍一下这个这个所谓的叫bbation，就是这个反向传播。

所以如果有同学不清楚的话，我在这边简单来讲一下知识，就是你的模型呢，你的fx模型可以拆解成很多不同的layer对吧。

就是就是雷尔斯其实是这个learning这个这个这个他们这个learning community里面的，这个术语，大概就是说不同的这种函数的这种呃这种组合对吧，然后当你要求梯度的时候。

你要对这个这个标量loss对它求梯度，到这个梯度是一个什么矢量对吧，然后这个这个partial loss parsx是啥呢，就是通过链式法则，你就可以拆解成不同f啊，呃这个呃这个呃这个微分的乘积对吧。

然后这个叫反向传播，就是就是用来这个追踪以及去计算这些呃这些梯度的，然后这个咋这个具体怎么做呢，大家可能会知道，比如说你只计算一个普通函数y等于fx，你可以用这个python用这个np做的话。

就是算计算就完了，但是你同时你还可以用这种呃带着这种自动微分的这种库啊，比如pytorch，你可以求出因为自动微分它它它自定义的算式，和他自己的这个derivative。

也就是同样的fx这个函数在拍torch里面，它会它会返给你返回这个primal，它本身这个函数的值以及这个函数在这一点对的导数的值对吧啊，举个例子啊，比如说你像你像这个y等于x平方。

你可以嗯一般来一般计算出fx就是x x x x，但是的话如果你用这种啊排套取这种带自动微分的库的话，那么你能得到啊，不仅得到y等于x平x平方，然后得到y随x的梯度，也就是二乘以x。

然后就回到我们刚刚这个建模的过程啊，就是说也就是我们现在不仅考虑这个正常模型f，我们还同时考虑正常模型f的导数对吧，然后我们要考虑我们考虑这个f导数指的是它的它的微分对吧。

也就是换句话说我们就是说我们想要我们的模型是可微的对吧，可唯的原因就是在于我们想要f这个成像模型，变得它的导数可以求对吧，然后这就是为什么我们有这个所谓可微分光学的概念啊。

就是因为我们想要整个光学建模的过程变得可微，那么可谓的好处有啥呢，就是有两个装饰，第一个的话就是我刚刚说的，就是当你想要出现反向问题的时候，你可以直接用tv sl方法去求解。

然后大家都想要想要用这种data driven，就这种数据驱动的方式去优化你的软件和硬件，这种叫叫叫叫叫叫叫n to n这个how we shat codesign，我这个很老实。

跟这个孙老师他们有在这方面有很深的积累，然后另外一个方面就是就是口音的关系，重要的原因就在于它是数字上是是这个可兼容的对吧，因为当你有梯度的话，那么你的梯度可以从你后面的后端的神经网络。

直接bp给到你的前端的这个光学硬件是吧，然后那么你就可以做这种hold闪，然后这是我刚刚提到一些工作，像这个是pro，是之前在斯坦福的工作，然后另外一个是这个孙老师去年的slob的工作。

然后我作为coser也跟他工作了很久，这个这个光线对接的引擎啊，老师讲一些应用啊，首先第一个就是我们来先可视化一下，这个这个刚刚说的那个到底啥意思，再逛一下，像我们考虑一是最难的一个系统。

就是这个单透镜的系统，你有一个平行光，那么你这个平行光的呃，经过推进之后，你会有一个呃偏移，那么我们能追踪每一根光线偏移的偏移的这个达到这个呃平面上的点，就是所谓的sport dia管点列图对吧。

然后我们就把这个调为fx啊，然后我们刚刚说了，我们想要这个系统变的可微，也就是我们不仅要考虑fx本身，我们还想考虑fx随x的导数对吧，而这个导数在这个情况下，它是一个它它它它是一个这个矢量图。

就右边那个图为啥呢，是因为我们这个x啊，它虽然是这个参数，但是当你这个参数变化的时候，这个点亮图它它它它它会它会有一个呃运动对吧，这个运动就是这里的这个这个这个矢量，这里是个动画展示这个过程。

你像最左边的话是我改变的一个透视性的区域，然后大家能看到这个sport diy的这个变化，以及这个sport代管具体每一个点的这个运动的速度，这个运动的速度就是它变化的程度对吧。

也就是最右边的这个动画sport呃，这个sport derivatives对吧，就是它的这个嗯这个这个梯度对吧，所以这是为什么可微分光学很有用啊，是因为我们不仅能得到关于fx的信息。

我们还能得到关于fx的导数的信息对吧，然后这是同样的一个图，但是我们可以同时做rendering。

我们同时可以做渲染，所以我们同时可以去渲染出这样一个图片，以及它的这个梯度好加上一些应用，首先第一个就是我们可以拖进设计。

就是你像传统通讯设计师怎么设计呢，是我们有一个这样的从专利库里面扒拉一个这个设设计，然后我们去手动设置一些呃参数，然后去做优化对，然后你拿出来一些现成的这个网络结构，然后然后你在上面做一些改动。

然后去去训练的网络，然后使得你能达到你想要的目的，是这个其实跟光影设计的过程很像，然后那么我们就我们就想问这个问题了对吧，有很多很多个变量，可能有几百万个变量。

然后他们最优化的时候就是用反向传播背后可选去做的，那么当我们通讯设计设计里面有很多个参数的时候，我们呃传统方法可能会比较慢对吧，像比如说你做自由曲面设计，它可能参数很多的时候就很难优化之后怎么办呢。

我们就想能不能用打传播去去做这个优化，也就是有的是我自己说的，就是我们能不能所谓的用这个bpagation去做lance design，就用反向传播去做透镜设计哦，这是我之前刚刚说的。

就是我们有一个设计的这个match，这个叫这个评价函数，然后我们有一些我们想要画的参数x我们可以定义一个loss，然后我们嗯我们可以把这个建模的过程写出来，然后在几何光学里面，这个建模的过程呢。

其实就是你怎么追击每根光线的过程对吧，然后这些函数有哪些呢，就是首先你光线的传播从一个点到另外一个点，以及这个光线打到一个一个光学表面上，然后他怎么样去做这个intersection。

就是相交以及这个折射和反射对吧，然后呢嗯就是我之前说的，就是我们因为我们想做可唯可唯的光学引擎，我们就要关心不仅关心这个参数本身，我们还想需要知道它的梯度，在光学设计里面呢。

我们关心的参数呢是表面的参数，也就是我们关心的是每一个光学表面，它的参数以及它们的他们的梯度对吧，就是我这个中间这个模型中显，所以说这个这个resurface intersection就是最重要的部分。

然后这就是这就是篇这篇论文的贡献就是在于什么呢，是是求交的这个过程嗯，如果你有一个一般的这个光学曲面曲面的话，你是很难求教的，然后你必须得用一种得用这种迭代的这种求根的方式，去求这个相交的点。

但是如果你直接暴力求用auto tv去解的话，这个迭代会非常消耗消耗的内存，因为大家可能也知道，你的网络如果很大，或者是你的你的这个你的这个训练训练的这个batch size很大的话。

你的memories不错的对吧，而这个同样的这个问题也会在我们可谓光学里面也会存在，然后这篇文章的主要贡献就在于我们我们提出了，就是他其实求跟那个过程呢，它它不需要用o o d f去做，我们可以先求。

我们可以先用一般迭代的方式求出的跟t在这个值，然后我们最后一步我们再把o d加进来，然后这样这样去去去manually engage这个规定，那么使得这个系统仍然是可悲的。

同时的话这个memory消耗会变得很小，右边就右边这个图就是就是这样一对比，是跟我们之前啊，跟我们之前的方法，或者是跟其他人的方法，因为其他人都是用这种这种迭代求解的话，然后我们去比的话。

我们的确有很多呃这个memory上的优势啊，然后然后然后这个是伟大，我我我发现我可能讲不完，所以我这部分跳的很快，然后大家就是大家都看一个结果就好了好吧，然后呢。

就是我们我们就具体就是说我们具体实现了一个光光线狙击系统，然后这是一些这关系，这这这这是一些呃关于它的结果，就比如我们可以去追踪这个这个这个路同和出同的位置对吧。

以及我们可以跟这个现成的这个商业软件z max对比，看到这个我们的z max d我们可以创造得到基本上完全一致的结果，然后我们可以做些应用了对吧，比如最简单的，是我们可以去做一些简单的透明设计。

那这个情况的话，我是优化一个非球面呃呃呃优化一个非球面，然后是怎么看优化这个冰球面的系数，使得它能聚焦到一个点，然后以及去优化一个线程的一个特性设计，怎么样去优化一些参数。

使它能得到更小的这个sport bg，就是也就是说我们这个点的聚焦聚焦到更更小劳，以及怎么去做这种周曲面的设计，因为这种曲面设计很难，为啥是因为它变量很多，然后传统方法很难优化，然后在在这里的话。

我们也可以直接跑我们这个可为的这个引擎，然后去做去做优化，然后这里是一些优化前和优化后的结果，好这个只是个demo，表明这个我们这个我们这个工作室可以直接无脑跑后，必须要加很多限制。

对这种简单的这种光源，光源光光也是他的情况，然后更一般的我们还可以做这种呃，更比较复杂的一些这个呃这个非球面的一些呃一些设计，然后在这边的话就是有个尼康那个专利。

然后我们从这种原始的这种啊这个这个这这这个这个原始的设计，就是我把他们的非球面去掉了，然后用我们的引擎的话，我们重新跑一次优化，我，们能得到非常好的结果，跟它原来的相比的话是是接近的。

这都是这种啊这种可悲的光学引擎给你带来的优势，老以及我们的影片还可以做渲染对吧，因为我们不仅能做，因为我们能做光学镜的话，我们我们就能反向做追击，然后从从而去渲染一个场景，在这个情况下的话。

我是呃渲染两个两个透镜，对左边这个的话呢是是没有校正色差的透镜，所以你能看到这个场景还是会有很很强的色差，右边的话呢是叫做色差之后的，就是你看到这个色差的这个结果就会比较小，然后除了那些。

简单的应用之外，我们还可以做更复杂的应用啊，比如说像这个情况下，我们是想要画一个自由曲面，使得这个自由曲面在传播之后，他能他能他能得到一张我们想要的图片，比如这个牛这个牛这个牛顿的这个照片。

右边是优化出来的自由曲面，而这个问题呃，之前做的话会比较困难，你可能需要特别的一些解求解器，但是你如果用可微的光学引擎做的话，你就不需要去解气啊，你可以直接用归元，第三你就可以得到这个结果。

然后以及还有其他的一些，比如说m突然的一些设计啊，以及，miss alignment imation对吧，你像这这个有个n t n的设计，就是就是说你怎么样让软件硬件一起优化对吧。

然后去去去让这个呃后端神经网络去处理你这个嗯模糊的图片，然后得到这个比较锐利的片，然后这一切都可以用我们这个可悲的引擎去做，然后以及最后的话我们还可以做这个叫飞。

非常有趣的，我觉得非常有趣的一个实验，就是做这个miss lemon bbengineering，就是比如说我们有一个非常简单的这个光学的这个这个set up对吧。

然后我们想知道我们想要我们想要创造这个sa的数字孪生，也就是说我们想，要呃建立一个数值上的模型，使得我们的模型得到的得到的simulation，这个图能完全跟我们实际拍摄到的图片相吻合对吧。

那这个可能不会吻合，像比如这个情况，这就是我们理想中就是个点，就就就就就这个点啊，点的这个物这个误点，但是呢实际拍出的误点可能会有些偏移对吧，因为这个透镜可能不是非常好的，这个对齐的。

那我们怎么样估计这个参数的一些，怎么估计这些啊，这个这个设置中的一些参数使他们两个能一样呢，对不对，然后这个问题就是就是怎么样构建这个关于你这个，光学系统的数字孪生对吧啊，怎么构建呢。

我们可以直接无脑跑我们的呃，这个归离散，因为我们的这个可微的这个这个这个引擎他自己带了梯度。

我就可以说这个优化，那这里的话我给大家展展展示的就是左边是我们呃仿真得到了图片，然后最右边是我们实际拍到的图片，那么中间就是优化的过程，大家可以看到这个优化过程非常快，然后我们优化之后。

我们就能看到这个这个点跟就是我们我们创造的这个simulation，跟实际拍到的这个measurement是非常吻合的，然后这里是这里是更多的一些例子，就是最左边就是就是我们模型得到的图片。

最右边是我们实际拍到的图片，然后在这个情况下呢，是我我是把这个透镜转了一个比较小的角度，然后我们去优化这个透镜的三维坐标信息对吧，然后大家可以看到经过优化之后，优化之后的模型。

这个形状跟我们测量的情况是非常接近的啊，这这里是更多的一些结果，这，就是说我们怎么更进一步去利用这种可悲的引擎，去去求一些光学参数啊。

然后这就是最简单的一个这个叫做face nshman的，一个一个一个一个一个装置，就是说嗯道理跟我刚刚讲的一样，就是我们有有一个透镜，这个透镜的一些参数是不知道的，而且它的这个不仅是它的位。

它的位置信息和它的一些光学参数也是不知道的，我们怎么样去呃测量它对吧，然后也可以用我们刚刚说的可微的引擎去做啊，然后这这里这些结果就就是就是啊这些对比。

就是就是比如说有个透镜对吧。

我们不知道它的这个实际的这个前后表面的这个这个曲率的值，但是我们通过我们的引擎，我们可以得到一个非常接近的支持啊，然后这这也是它的这个我觉得它的它的威力所在好，然后这个是这个是这个是可微光学的部分。

看大家有什么什么有没有什么其他的问题啊。

没有问题的话，我就我就继续下一个最重要的课题啊，哦我在这里先提一个问题吧，对就是其实还是蛮多同学讲到了这个口味光学啊，也不是说要提问题，就这部分嗯。

今天可能王博士给大家讲的是一些high lever的应用，和一些目前比较前沿的一些paper，我们这个204课程后面会有专门的几节课，会给这个口味分光学做一个比较详细的分析，从这个光学model。

从这个算法建立的image formation，所以可能大家今天听起来会比较比较多的一些内容，其实只是为了给大家一个概念，说这个东西其实是目前的一个研究热点，而且他是非常有意思的对。

然后就是我觉得王教授王博士可以回回应一下，就同学们蛮关心的，就是对训练集的要求对，就是跟传统的这种通常来讲，就大家可能比较关心这个可微光学对训练集体的要求，可以简单评论一下就好。

因为他们就是就在斯坦福的很多工作，非常非常非常有这个有这个硬塞啊，但我只能说一点，就是训练集，你啊你可以用仿真的方式去做训练对吧，就是就是啊这这应该是完全可以的，但是最重要的过程最重要的问题在于什么呢。

是如果你通过软硬件联合优化得到的光学设计，你加工出来可能跟你设计的是会有偏差的对吧，就是所谓的有公差的会有些问题，这个计算里面对吧，那么你就必须得想个办法去把这个偏差把它校正过来。

也就是你你你必须得在啊这个这个这个组装之后，你还得再再做一些额外的一些这种这种呃harry的loop，这种这种圈领去去教训它，这是我对这个的回应啊，关于这个的我觉得对，就我们后面课程会有这个详细的展开。

就各个模块今天主要是给大家一个了解一下最前沿的科技，因为王博士在伯克利大学里面做的工作也都是非常前沿的，对然后这边还有一个更小的问题，关于这部分口味公式的参数估计如何处理多解的问题，这也是蛮有意思的。

就卡在这个关系，但是我想要说的是啊，如果你只是设计的话，你其实不需要最优解对吧，其实一个局部解局部最优解其实就已经可以了，好这是第一个，然后第二个是当你发现你有很多个解。

比如说你做这种这种这种这个叫这个叫mmmo，就是做这种这种光学测量，当你有很多个解的话，那么说明啥呢，说明你这个问题没有很好的regalize，你没有很好的做正则化。

你应该做一些政治的话去让你的姐变得更加make sense，更加更加有有更加就是合理对吧，这是这是我觉得嗯需要提到的点啊，就是就就就就就就举个最简最简单的例子，就比如说我我我我我优化这个透镜。

如果我只优化它的参数，不优化它的三维未未未知坐标的话，那么我觉得我得到解也会很差对吧，就是因为我有这些额外的因素没有考虑，那么就会有这种问题，对不对，就是说啊对啊，由于时间有限。

我们这个可以后续再来讨论，咱们先让这个王教授分享一下他另一部分非常有意思的工作，对大家也可以继续提问，后面我们还是会留一些时间，那今天可能会稍微多一点点时间，希望大家能够理解对，然后最后想了想。

这样再说一下，就是我这个文章虽然在审，但是我们这个吉他仓库已经，开放啊，就还没有开放，就是还没有公开对吧，但是我这个仓库在这里，大家可以去，有空可以去看一下这两篇文章的这个仓库，大家可以点个小心。

点个点个爱心啊，这个非常感谢啊，这个之后很快就会开源，就是等我的文章正式上线之后，让大家可以去自己去试一下，而且这个是这个这个是python就写的就是比较比较简单，因为之前我们的版本是基于秘书吧。

所以你可能要写c加加17，你可能如果不是很熟，c加的话，你可能比较难做，但是我们都可以拍拖去，然后就可以去去去去做各种各，样的事情，然后之前就是我在博士期间做的一些工作，然后现在我想讲的是呢。

现在讲的可能是非常新的内容，这应该是第一次在这个中文，在这个中文中文这个互联网世界里面展露伯克利的这一项秘密研究啊，我们叫我们叫autivation，奥兹视觉。

然后或者是就是我在下面有一个我自己给的翻译啊，就是帮大家理解的是啥，就是我们想做一个超彩色视网膜投影显示技术对吧，叫observation，然后这个呢是基于一种设备，这个设备叫自适应光学激光扫描。

共聚焦显眼镜叫a o s o啊，这个这个这个工作，是个非常大的一个项目，然后我是去年加入了这个团队，然后很幸运，在去年这1年我们整个团队然后有很大的进步，然后有很多很多很多最新的进展可以给大家分享。

然后这里是一些呃就是我的这就是我们我们组的一些人，然后呃这个这个list不是很完全，因为这个项目有很有很长时间，然后有很多来来去去，有很多人大很多人都在上面做过很多贡献。

然后呃虽然我是在这边这个做presentation的，但是他们的贡献我觉得非常重要，好我现在给大家讲一下，首先就是我们这个gp的这个观众大，家可能都对图形学有些了解，就是图形学是啥呢。

图形学是就是给人类视觉，就是给人啊去展展展露一些这个这个图形信息的对吧，就是我下面的中文写的，就是说图形学就是想要想要去表示这些图形给人类看，对不对，然后呃这个过程是啥呢。

就是如果你可能上过计算机图形学，你可能知道就是啊你有一个场景就左边这个图啊，有个叫这个叫coral box对吧，康康奈尔和，然后你对他做渲染，你得到一张图片对，然后这个这个图片就能。

就是图一学想关心的对吧，但是呢想要提醒大家的是，这个是所谓的perpetual image，为啥呢，是因为你渲染的时候，你是对每个像素做的对吧，你得到的只是一张数字化之后的图片。

你想要这张图片被人所感知，你是需要把这张图片显示到一个显示器上，就是中间这个图画同时在被人眼观测到，打到视网膜上，最后经过photo assamzation之后。

你才能得到实际的啊人对这一个图片的感知对吧，就整个这个过程是这样的，对不对，然后你就会发现一个什么问题呢，就是计算机图形学不是完全全链路，它的链路不是，完整的是因为最后这一环节是缺失的，从这个图像。

从从从这个渲染得到的图片，到人的视网膜这个过程中经历了很多其他的因素对吧，首先第一个是这个display，就是我下面这句话写的。

就是说你的human procession呢是这个在光学上是是被这个display被显示器所影响，被你的人的眼睛的这种不完美所影响，因为你像我们的眼睛，我之前讲播前也说过，我们的眼睛不是完美的对吧。

然后你像我近视对不对，然后就是这些额外的相差会导致你的这个成像的一些问题，以及最关键的是你这个人人的视网膜，它是有这个锥状细胞和感和感状细胞，你们可能之前上课也讲过，你像这个锥状细胞。

它它是一个个的细胞对吧，它是离散的，对不对，然后你这个连续就是你这个你这个pixel的这个图片投影到这上面的时候，从这个pixel到这个空空，就是就是这个嗯水状细胞对吧，这个过程它是会有这个会有这个呃。

会有这个会有这个光学上的这个变化的，然后以及得到这个信号之后，怎么大脑怎么去在神经上面做一些decoding，怎么去解码，把这个最后得到的这个图片信息，把它把它复现出来，所以这就是我们。

ospici想要想要去理解的就是嗯这这里是额外的一个图啊，左边这个是人的眼前的这个这个示意图，大家可以看到这个视网膜，你视网膜上这个锥状细胞就是这个photo这个这个叫photo receptors。

就是他是负责感知颜色和和和，就是嗯是主要处理你这个颜色信息的，它也是最敏感这些这些可见光的信号对，然后这些这些这些因素是完全没有被考虑进来的，被动性质的，所以说这就是我们autivation想要做的。

就是我们想要呃把图形学提升到下一个阶段，就是传统图形学，就是我之前说的，就是它只是对每一，个像素做渲染对吧，但现在呢我们想要把最后这一个从显示器到视网膜这一部分，也把它做做完，我们想要对每一个居状细胞。

每个空，每个per控对对，每一个空做渲染对吧，这是我们想要做的，就是所谓这所谓的osvision，然后这个名字可能大家可能觉得很奇怪，什么叫out对吧，然后这个是从这个绿野仙踪英文名里面来的。

the visor of arts，为啥呢，是因为我们刚刚描述的这个场景，这个图形学的场景，它只能在我们的仪器里面给你复现出这个冰这个色彩平凡的世界，你在外面是看不到的对吧。

所以说我们就叫它就相当于是个先进的，所以叫vior of ar，然后我们开发的软件就叫visor对吧，就是因为因为the visor of arts给大家插播一下。

然后这个auspicion有什么用呢对吧，我觉得最关键的是什么呢，它可以让他可以他可以去叫叫叫叫他可以啊，做programmable human vision对吧，就是人的视觉是非常复杂的，为啥呢。

是因为呃呃大家可能知道有有色盲，可能追状细胞，如果因为正常人可能有三种不同的这个追状细胞，但是但红绿色盲可能有的呃，某一些红绿色盲可能只有两种配方细胞，那么他们就看不到，他们都无法无法分辨红色和绿色。

然后在这些因素是我们一直想要去科学家想要去理解对，然后oautivision可以做啥呢，它可以做，我们就可以用oswitch作，为一个平台，那我们的这个呃vision scientist。

这个vision指的是human vision，不是computer vision，让我们的vision scientist做更多的这个experiment，就是就是for science对吧。

然后另外两个最重要的最重要的前提是，我下面说我觉得最重要的是就是towards novel color sensation，就是说我们可以实现这种全新的这种呃这种颜色的感知具体是什么呢。

第一个是可以可以扩展人的色域，第二个是可以做这个呃，color of boosting dimensional，bodidimensional bosting，就是说可以让色盲看到真正的呃三种颜色。

可以让可以让色盲在我们的仪器里面啊，看到我们就是呃正常三色人能看到的颜色，让我讲一些，低调什么，首先就是你想要理解这个我们的这个原理，首先要讲一下我们这个这个photoreceptor。

这个特别是空调是怎么个回事，你像我们人，我们人是一般的大，一般只有三种聚聚状细胞对吧，就是左边这个图，人类的话三种装细胞对不同波长的光都有感应，然后但是他们每种组装细胞的感应是有点略微不一样。

这一点的话呢像有的生物，像皮皮虾，它的它可能有12种最终细胞，那么它感知的这个颜色就会就会更加嗯缤纷对吧，然后这就是这就是这这就涉及到怎么去理解这个人类的颜色啊，然后左边就是呃刚刚同样的那个图案是走。

不过是我在给这些地方给大家画出来，画出来这个这个这个感应曲线就是就是做每个不同的空啊，不同的种类的这个空对这个颜色的感知是这样的对吧啊，右边呢是三个已经分类好的这个呃这个视网膜的这个这个这个地图。

然后每个空都被都被标注了不同的颜色，表明它的这个呃类型对吧，然后首先要注意的就是不同的人呐是有不同的这个lm ratio，就是说它的这个红色的这个呃感光器呃，就是我我们叫l我们叫l控。

l就是long的意思，对吧，m4 这个这个迷点，然后这个s是这个shot对吧，然后就是就是就是这就是我们三个人，他这个呃l控和a和m控的比例是不一样的，然后这是第一个点，然后第二个点的话呢是这个蓝色的。

这个这个呃蓝色敏感的s控是比较少，就是所谓的这个啊红就说就是二色人，我们叫这个中文，我其实不知道怎么翻译啊，就是说就是说就是他只有两种组装细胞，那么它就是右边这个图。

就是下面这个就是说他有的人他可能没有这个l他没有l控对吧，那所有的l控都跟m控是一样的对如果这时候的话，那么他对红光就比如说你这里看着不断，你可以知道有600以上。

它这个光就会他其实还是能感应到这个这个红光的，但是呢他的这个卡or就是它的它的它的颜色的感知，可能就就分辨不出来，因为为啥呢，比如说大家可以看到这个图上面，500和600这个这个响应都是类似的对吧。

也就是说对红绿色盲来说，它的这个500nm的光，500nm的光对他来说都是都是很类似的，它很难他很难去，它可以它可以区分，但是说对他的m控的的刺激是类似的，然后就就是限制他们他们这种饮食的感知能力。

好吧，然后呃这个跟我们的色域有什么关系呢，就是就就就是因为这三种不同的响应曲线啊，是你可以把它在三维的空间中画出来，但是呃你在可视化的时候，我们我们希望把它压到一个二维平面，然后这个这个过程就就是说啊。

比如说啊我我我考虑这个这个黑色的这根线啊，这个这个这个波长处的这个光是什么颜色的，就是我这个黑色点在这个commenticity大会上画的这个点。

那么你就可以对应读出啊l m s3 种控不同的这个呃感应的这个程度，然后这个是所谓的lms s value，然后你根据这，三个值去做这个x y z到xy的这个换算。

那么就能得到这个commantity大管上面的一个点，然后这就是这就是human human color garment，就是所谓的人的这个色域就是马蹄形状的原因，就是因为我们三种锥状细胞。

他们的感知是这样的，而且每一个波每个波长你你只能固定的这个呃生成tv体，然后这个就是我下面这个呃sse里面这个方程里面表表述的就是说啊，每一个颜色对对，对我们平时看到的世界来说。

每个l m s value是等于每个每个空的这个神的tvt，就是它它的这个这一这一束光的感光程度对不同，波长的感就对这一个波长的感光程度诚意，这个波长啊，这个光实际的这个强度，你像这个地方。

我把微写出来，就是0。50。7，0。1x111对吧，然后最关键的来了，就是我们提出的observation跟我们一般的这个vision有什么不一样呢，是在于如果我们能对lms 3种控。

每一种空施加不同的光的强度，也就是我们也就是我们呃调试每一个空上面的，让他们打，让虽然是同一个波长的光，那么但是我们让这束光的强度，在每一个不同的控上面的强度都都会呃都会不一样。

那么理论上就能实现让这个呃让这个被试者看到不一样的颜色，就是就是我这边写的就是问号，为啥呢，是因为之前是都是一对吧，因为你没法精确的控制每一束光，在每一个，集装细胞上的强度，但是如果你能控制。

那么你就能实现这个osvision对吧，你就你就你就能做出这个空win lin开始就能，你就能你就能你就能直接program一个就是就是你直接可以对对你的human。

你你可以直接对你的这个人的这个视人的这个颜色的视觉，可以对它做编程啊，再举给大家举个例子，比如说啊比如说我我给这个呃这个被试者看看500 510nm的光，那么他可能看到的是这种啊。

在sn和这个他可能看到的是这个电缆啊，偏绿的一个一个光对吧，但是如果你在audivision里面，如果你对每个，空你对它做不同的line intense modation，你像这里我根据比例算出来是1。

60。4和零的话，那么实际上每一个空它受到了这个等价的这个呃，感应值是我下面说的这个值，就是这个这个这个hello，就是这个啊空心的这个圈圈的值啊，那么如果你反向去查这个表。

那么你会发现原来510nm的光，现在这个是测试者，他能看到600nm的光，也就是说这个510nm的光，我们可以让这个受试者看到600nm的光的结果，这个是我在commodity大会上面画的另外一个点。

就是这个这个黑色的圈啊，也就是说与其看到的是电缆，现在这个被试者他能看到一个呃就是呃偏红的一个光，对吧，然后呵呵对，然后这个这个有这个有啥用呢。

是因为这个我们可以我们可以扩展这个这个human card gm，就是我们我们之前说的这个卡拉嘎米是这个马蹄形，然后现在如果没有我们的osbc的话，我们能让你看到不一样的颜色啊，好吧，我觉得我还行啊。

快点，因为讲的太慢了好，然后这个是具体是我们我们是这样做的啊，首先我们有我们有一个我们想要给车子看到的视频，然后我们把它啊打到这个视网上，然后我们可以对每一个空做这个编程，然后去。

嗯根据他不同的这个空types去做相应的这个类似lin test这个这个调整，对然后呃这个是这个这个oosation的这个主要这个princip，然后嗯对因为时间关系我就不给大家讲太细了。

但是我想给大家展示一些我们最新的一些结果，我觉得非常有帮助，对大家，首先第一个我们系统里面现在只有543nm的激光，我们现在能让被试者就就是如果你只看这束绿色激光，那么你只能看到对应的这个啊。

对于你能看到的颜色，就是这个打了叉的这个点，就是就是呃他可能就是绿色，但是如果你呃用如果我们用这个osphere，我们的这个技术，那么我们我们就能让这个被试者看到看到这个color variation。

就是人家看到，然后看到不同的颜色，像这个受试者就他他就说他能看到红色，他能看到橙色，它能看到黄色对吧，这都是从一束绿色激光得到的啊，就是因为刚刚我们的facebook在在在work。

因为我们做到了哪一点，然后这里是呃一些更多的一些结果，像比如说像我们给他看一个这个这个letter e，就是就是就是这个大去那个做做这个事情，给他看经常看的那个字母e，那么这个受试者他能看到这个。

他能看到一个红色的一个一个字母字母e在一个绿色的背景上，然后这一切都是用543nm激光照射到它视网膜上产生的，大家可以想看这有多震撼啊，因为你你能想象一束绿色的激光，就能让你看到红色的字对吧。

这是非常惊艳的一件事情，然后不仅如此，而且这个数字他能他能看到这个字母的不同的这个orientation，能分辨出这个字母的这个不同的方向，然后同时这个反过来的这个case也是一样的。

就我们还可以把这个把这个case是反过来，然后以及以及额外的一些这个视频的一些结果，就是你像这个情况也也是这个数字，它能看到一个红色的这个这个盒子，在这个啊背景上移动。

然后最后的话我们还可以给大家看一个非常小的一个video，然后大家可能看到这里是彩色的这个视频啊，但是实际上这个受试者他的确他也能看到呃，一个类似彩色的一个视频，但是这一切都是用一束绿色激光所造成的。

也就是说用我们的原理，我们能我们能work是非常重要，这个，好吧，然后这一切是怎么做到的呢，是因为嗯我之前说过，就是这个oosvision是基于一个硬件，我们叫a s o。

就是英文就是这个叫adaptive optics对吧，scanning lia summo，就是啊这是个非常复杂的仪器啊，非常大的一个仪器，大家可以看到这里我给大家展示的这个界面设计图。

以及我们实际做实验的时候怎么做的，就是这个受试者他需要他需要自己啊，把他的这个他他他他他就要咬咬住一个by吧，然后他的眼睛就被我们的这个激光不断地扫描，然后当激光在扫描的时候，激光的强度会发生变化。

然后去做到我们auspici刚的效果对，然后这里这里是个动画，给大家展示一下这个是什么过程，就是这个激光是这样少，然后做的你像这一点是非常困难对吧，为啥呢。

是因为你想要对每一个空调对做到非常精准的checking stimulation，为啥呢，就是首先第一个是人的眼睛都是有相差的啊，然后你需要去接他去校正，怎么校正呢。

就是我们刚刚说的用自适应方式去去去住校正，然后第二点的话呢是人的眼睛应该不断做快速移动，就是叫所谓的cs和michael c，我们我们系统里面现在是1ms的这个latency。

然后就以第三个这个你想做simulation的时候，这个人的眼睛是有这个是有这个，有这个关于这个颜色的这个相差的，这就是所谓的这个tca，就是就是横向的这个chromatic aberation对吧。

然后怎么去测量它，以及你还需要做渲染，你还要做realization是吧，然后我们都用非常快的c加加和和这个kda去做白天，然后整个系统能非常高效率的运行好，以及最后怎么样去做这些呃。

这些cycle physical的实验，这个怎么去去这个组织这一切，以及怎么样去克服人视觉中的一些困难，这些都是一些technical challenge对，然后我想给大家展示一下这个数据。

就是啊这个我们我们实验中实际采购的一些一些结果，就是我们的系统现在可以啊，可以去，首先第一个你可以对视网膜成像对吧，就是呃就是我们这里这里给大家看的这个rational image。

大家可以看到每一个这个空调，这个大家都能看到，而且而且这个是这个是实时啊，不错的，然后我们有对应的空label，就是啊这个每个类就是每个这个空是具体是哪哪种类型对吧。

然后以及我们能记录这个我们想要调制的激光的这个这个嗯，具体的这个stimulation的这个type，以及它具体的ltintened level，就是我们叫michael dos。

就是具体这个呃绿色激光是怎么样在每一个空调上面扫描的，然后在这个地方我给大家展示的是之前demo里面给大家看的，一个红色的box，在这个绿色的背景上移动，然后我们这个这个log系统。

我我我我们这个数据系统非常的先进啊，可以让大家感受一下这个为什么我们做这些事情，是因为我们想想要做电极性的工作，想让这个工具彻底的做到这个呃clevel的precision，你看这里的话。

我给大家展示的就是我们这个log log system里面，我们可以暂停整个就是记录的数据，去检查每一个micro是不是的确都到每个空上，然后以及呢我们可以去做去做这种这种check。

就是看我的麦克风是不是的确落到了我们想要的tt的这个空上，以及最后的话就是就是做interpretation，就是因为这些都是这些，这些其实更广义的都是心理学实验。

我们怎么样去验证这个收视的确看到红色对吧，然后这一切都是需要我们这些呃log的data去去呃去完成的，然后最后的话就是呃另外就是说像刚刚大家看到的这个地图。

是很大的地图对吧，然后另外一个主要的挑战是我们怎么样从这个测量到的这些呃。

vivo的这个信息里面去重新建一张很大的地图，然后我们现在有算法可以直接做到这一点，然后对比之前的结果，我们现在的方法提高了很多，然后对，但是但是具体细节我就不跟大家讲，因为呃一个是时间。

另外一个是这个还是没有发表的工作，好吧，然后大概就是这样子，谢谢大家啊，有问题可以提问，好的，谢谢那个呃王博士啊，非常有意思的工作，尤其是最后这个东西，因为我之前或多或少了解一些。

这个是一个啊真正的是一个交叉性的学科，光学，然后这个计算机也是光学和心理学等等各个领域都合在一起的，那今天可能给大家讲的是一个比较high wever的概念，所以有些东西其实还是因为比较前沿的研究嘛。

所以很多东西其实还是不确定的，所以可能大家就是听起来有些地方的技术细节还没有很明确，所以这个也是希望大，家能够理解，那我们这边也有很多同学对这方面非常感兴趣啊。

就有同学直接评论说可以是否可以用a o c t就是adaptive exo city，来去帮助这个啊，做这个东西的效果会更好，另外就是这个非常好的问题啊，但是我想要给大家让。

让我回到这个刚刚的slice，是个非常好的问题，我想给呃对，首先a o o c t理论上是可以的对吧，而且实际上而且实际上跟a o s o的这个区别其实是很小的，基本上基本上没有什么主要的区别。

只不过是a o，但是关键关键是什么呢，关键在于啊这个过程是有两部分，首先第一部分啊你有a o了对吧，这没有问题，所以但是呃你你要你要做image和做stimulation两部分都很重要，为什么呢。

首先ao啊是用来做这个校正，校正这个眼睛的这个畸变的对吧，然后image是为啥呢，是因为我我之前说眼睛在不断的快速移动对吧，因为，我们想要对每一个呃空空cell做这个做这个激发。

那么我们就必须得快速的定位到这个眼睛的位置，那么也就得做image对吧，然后以及你做stimulation是因为你要你你知道这个眼睛的位置之后，你在你在调制相应的可见光的这个呃强度去达到你想要的结果。

为什么为什么为什么为什么为什么为什么，我觉得l o c t不一样，是因为什么呢，是因为o t t它是个成像的设备对吧，你得到的是个模拟match的一个一个信息对吧。

但是这个地方的话我们其实不需要这个体积信息，我们只需要的是这个，视网膜地图的形状以及我们想要知道在哪个地方去啊，做stimulation。

因为a o s o跟a o a o c e的唯一区别就是只不过是你的光源有呃，有有不一样的地方，因为你像a o c的话，你需要用这种嗯运动运用这种这种这种这种这个啊就是这个sweet source。

或者是这种这种啊这种fix dmin这种方式去去做对吧，但是你在o o o c里面，它不需要这种光源，因为它目的不仅仅是成像的目的，更多的是更多的是做stimulation，更多的是做去做去做激发成像。

只是用来帮助定位眼睛位置的一种方式，但是这个这是个不错的问题，我觉得好的，谢谢啊，然后其实还有同学关心说这样一个东西啊，从像素层面来说可以做到多少，因为其实一旦谈到显示。

大家第一反应就是我们有多少项要素，对不对，这是个非常好的问题啊，就是大家可以这样想，就是呃现在我们的photob呢是大概1度乘1度，这个这个大概有多大呢，就是你的大拇指的指甲盖这个大小。

然后把你的这个放到你的这个手臂的这个长度，这个地方这样看，然后你这个指甲盖这个这个大小大概就是1度乘1度左右，这是我们现在，display的这个大小对这个的确非常小啊，对但是啊怎么说呢。

这个毕竟是一个science的东西，因为我们想要做的是不仅是computational image，不仅仅是计算成像。

我们更加做的是一种computational imaging for science对吧，我们要我们这种是个更尊重的平台，它不仅能做这种做这种dic。

它更多的是一种呃做这个human vision研究的一种一种平台，因为你要理解人的，比如说你像我们之前说的，像为什么人有两种这种这种呃，就是如果你是两色人，如果你是红绿色盲的话，你看不到啊。

你无法分辨红色和绿色的，但是因为我们这种设备的话是有，可能让色盲能分辨红色和绿色，这些都是都是这个呃这这个显这个显示啊，显显示设备可以做到的一些东西，对我觉得这些都是很有潜力的，对非常有意思啊。

这个我个人也是非常感兴趣，我觉得这是一个啊就是真的是一个做科学研究的一个大方向了，就是从除了从这个啊传统的计算成像，在这个日常摄影或者是工业成像方面的应用，往更深的一个层次走了一下。

对那当然也有很多的挑战和很多的这个不确定的因素，但是这才是所谓的研究的快乐，所以我们非常期待啊，这个你们，后续的工作对，是的是的，谢谢啊，然后大家可以看一下还有什么问题对。

因为其实很多呃这个评论上的问题，刚才王博士在讲的过程中都已经cover了，所以我们这里不再赘述，大家可以回看一下问题，以及回看一下后面的这个视频对，然后我看这边还有之前的一些问题，那么看一下。

就其实最开始有一个同学关注了，说从一开始在讲这个计算成像的时候，大家很多人在谈到光刻机啊，就那我说光刻机的中的成像有哪些难点，这个对，但是我不是做这个的。

但是我知道的是有人做计算光刻computational，liography啊，具体就是说因为大家知道光刻机里有个眼膜，然后这个眼膜决定了你这个呃光刻出来的这个样子，但是因为眼色存在。

然后这个你这个眼膜跟你最后成就是刻出来的东西可能不太一样，对不对，然后有的人就做这种计算，光刻就怎么做呢，就是说呃根据你想要的这个这个pattern就反向优化你的这个眼mask，老去做这个反弹硫化。

然后啊有很多一些仿真的结果，看上去还挺有趣的对，但我觉得这也是一个可以做的点，但是我对这个了解不多，是我唯一知道的东西，关于关于光刻对挺好的，所以今天其实王博士给大家分享了三个方面主要的内容吧。

第一个方面是啊we fly，三星这个东西其实是在呃光学领域，尤其是早期这个天王丞相这块，对大气湍流的这个形象这块有非常多的应用，也是很有意思的，那其实过度而有很多同学提到了这个adaptice。

这就是自适应光学，然后后面又给大家讲了这个所谓的depression optics，那这个其实是啊近几年这个发展的一个研究热点的，那也是我们games 204这个课程的一个核心问题。

那啊前面几节课程我们主要是从这个视觉csl跟图像的角度，色给大家就是讲了一下一些背景的东西，那从下周开始，我们也会进入这个核心的内容。

就是相当于是把deflect of defensive optics的各个模块给分开讲一下展开，所以后面有很多的啊内容也欢迎大家持续关注了。

然后第三部分王博士给大家分享了一下伯克利这边啊非常前沿的工作，这真的是一个非常前沿的工作，我个人认为是就是有那些sars的这个潜力的对，然后其实也是非常有价值有意义的，对于我们人类视觉的东西。

因为其实人类视觉human resistance是最好的相机啊，有超过1亿个像素的这个分辨能，力有很大很大的这个动态范围，但实际上我们目前的一些啊研究，所以这个方向的研究是很有价值和意义的。

也欢迎同学们及时关注，这边还有一个同学提了一个最后的一个问题啊，就说啊前面的一个重聚焦的问题，refocusing就如何来评价这个聚焦的精度，就我想肯定是前面这个啊wfla那一块的吧。

对怎么评价这个聚焦的精度对吧，这个让我做一次分享，s y x，这个我觉得怎么评价这个精度，这个这个问题怎么回答呢，就是这其实是个蛮蛮开放，蛮有意思的问题，这个也也有很多方面的东西去衡量。

你可以简单评价一下，就是某个应用来说对，就比方这个对我觉得怎么评价精度嗯，我最关键的还是看你要做啥，像你像这个情况的话，是我们想要重新聚焦到一个呃，每个让每个细胞啊，就是在对焦的这个点对吧。

这是我们想要做的，实际上我可以简单说两句，我觉得呃关于这个精度也好，或者是其他的成像质量也好，通常我们会说这是一个domestic的问题对，所以其实你你更多的时候如果要去评价他的话。

可能会去考虑在具体的某个应用上面，然后其实啊成像传统的一些成像的标准都可以用来评价，算一些特殊的一些表征，去评价它聚焦的精度，对这个就是很难用一个一个简单概括性的这个颜色去回答这个问题。

然后对我记得还还想再，再提一点，就是这个数字从聚焦，可能跟有的同学可能理解的那种类似广场相机的处理，从小可能是不是不太一样的啊，因为为啥呢，是因为我们在这边做的是服厂的，从聚焦。

也就是说我们传播的是一个点，就是你可以认为是一个相干光源，一个点所所所发射的这个服厂对他做重聚焦啊，然后他他可能他他的他所谓的遮挡是不存在的，是因为你只有一个误点，所有的光，比如说像这个情况的话。

所有的光都是从这个呃我们这个相相干的光源这一个点发出来的，所以它没有所谓遮挡的，问题遮挡的问题的话只是在比如说你如果考虑几何光学，你你是个你这个思维live的时候，就是就是你你是所有光线集合的时候。

那么有的光线被挡住了，有的光线没有被挡住啊，这时候你才会知道遮挡的问题，我觉得这这是一个我我想补充的点，好的对，然后也还有同学关注这个wave fcc，通常因为现在的这个器件的限制吧。

通常会有一个we are no one的这个呃敏感度跟空间分辨率的trade off，这方面有没有什么评价，in comments，什么什么敏感度跟这个wifi 3性的敏感度跟空间分辨率的trade对。

这是个非，常好的问题对，然后我想说的是什么呢，就是我其实第一篇文章没有讲，因为没有时间啊，但是如果你去看我那篇啊，we processing啊，理论的这篇文章，这篇2020年的oe的话。

我在里面有一个公式，就说这个横向空间分辨率是取决于你这个你这个coding optics，就是你编码原件跟你呃传感器之间的距离，这个距离越小越好，而且这个是fundamental里面对这是我的。

我觉得是最重要的一个common，你可以去看一下，我具体是怎么从几何光学或者波动光学出发推导这个公式的，好的对，那其实嗯就是王博士今天讲的大，多数内容啊我们在网上都会有，我相信在网上都有一些公开的信息。

所以大家其实如果特别感兴趣的话，可以关注一下，我个人这边也非常期待文博是新的那篇paper能到我公众号support一下，期待我们这个公众号能够报道一下你们的工作，对对今天可能由于时间的关系啊。

我们也差不多要到这边，以及具有这个nature science潜力的这个新的这个这个visual size的问题嗯，对，非常感谢，再次感谢，然后大家如果有问题的话，也可以随时联系啊。

我们今天的课程差不多就到这里，那给大家拖了一些时间，非常抱歉，那也祝大家周末快乐，下周的是同一，下周的这个周五，我们会恢复到这个regular的这个上课时间，然后具体的内容我们会在群里面再通知。

也欢迎大家持续关注。

显示技术补充：计算光场与全息显示 ｜ GAMES204-计算成像 - P1 - GAMES-Webinar - BV1YK411o7yS

如果没有问题的话，那咱们再稍等个两分钟吧，对今天正好是这个双11啊，相信各位应该也挺忙的啊，就是有同学可能在购物，那可能今天又是啊，有些同学可能要投稿对吧。

今天是i tribe ec vp r的这个第五最后一天，所以其实有很多这个做cv，做machine learning，做ai的同学，现在其实是在奋笔疾书，在跑最后的实验，结果也比较辛苦。

那这也是其中一个原因，所以我们决定今天在这里做一个pose，就先给大家take a break，从这么多的这个vision的image camera的这个内容上面，先抽空回来，先谈一下其他方面的东西。

对然后那个哦如果大家看群里的通知，其实关于呃之前作业的讯息在群里也有，那这个作业的就是17号吧，下周四，所以啊今天也是想说再给大家换一个课题，可以留给大家更多的时间去看一下作业的东西。

所以我们今天可能就是啊可能两个月前吧，对跟大家见过一次面试，是讲了一个display table vr的one one 101 introduction的部分，那当时其实也有同学提到了。

说可否在详细的讲一下显示，尤其是这个全息这一块，因为这2年其实啊metaverse非常火热嘛，所以可能计算全息的这个需求以及这个关注度还是蛮高的，所以呢我们今天就正好借这个契机。

take a break给大家这个简单的分享一下这个live graph的一些东西，那可能今天的内容还是跟上次一样，不像是先把这个啊exercise的这种教科书式的课程，就是讲的非常的细节内容。

那我可能会更倾向于是一种普及式的，就是让大家了解一些概念，以及呃我们目前在学术界这方面的一些研究，那当然可能更多的是以我个人参与过的一些项目的这个实验结果，来作为这个平台。

那其实也是希望给大家提供一个机会，可以去多多讨论，因为其实刚才今天在群里面也有同学问我说，对这个meta这个事情怎么看啊，那怎么说呢，其实有好有坏吧，对我觉得其实每个人都会有自己的想法。

关于这个所谓的metaverse，我们其实是做这个方向，也并不完全说我啊个人百分之百的认同ma的所作所为吧，这个我们后面也可以在呃抽空来讨论一下，ok我觉得那时间差不多了。

我们可以差不多开始就大概还是跟上次一样啊，就是如果有什么问题，或者是说哪里的这个视频流稍微卡住了，可以在弹幕或者是在群里面留言，我们会有技术组的同事在随时跟进，这个非常感谢这数组的同事。

因为我还是这个问题，我现在人在海外的ip，所以实际上我们没有办法直接做推流，需要这个技术组的同事一直跟进，整个直播的过程非常的辛苦，再次表示感谢，好的，那我们今天就差不多开始了啊，咱们c。

对我呃。

其实很多朋友今天在问我这个事情啊，也就是咱们中国时间的周三晚上以及周四，昨天的时候，我相信很多人跟我一样，我的朋友圈都被这个事情刷屏了，facebook或者是说现在称之为meta。

他这个lay off了11000名员工这个事情，那所以其实大家也在开始在在退一步的反思，说到底原因就是这个事情靠不靠谱哈，就是一半是哭，一半是笑，对我觉得圆宇宙这个东西啊，我个人感觉在2~3年内，他。

其实还是没有办法在消费端普及的，但是也就是因为说他其实还是一个比较前沿具有风险性的东西，所以我们从学术界，从工业界的这个啊研究的角度才有更大的价值。

那当然确实是可能facebook或者说mea之前这个前2年的步子迈得太大了，所以他现在再再稍微pay back，为他自己犯的错了买单，稍微在这个往回退了一步，那我觉得也不见得是一件坏事吧。

对整个产业链来讲，对整个这个研究的方向，研究趋势等等，都是一个怎么说，提供一些insi，ok那其实在这个情，况下面我们就会回到刚刚那个点了，mea一直在给我们灌输的一个大的story。

就是我们会有一个好未来的世界是bers，然后无论怎么样，这个mtv里面最核心的那个点其实还是回到了这个显示的模块，因为其实meta被大家吐槽的无非就是两点。

一个是说这个啊小张的这个原宇宙的虚拟人物太过于简单，不够逼真，对这个是content creation的一些问题啊，那第二个就是说它的这个头衔，他的一些其他的这个平台，从这个显示的质量。

从这个啊头戴的舒适度，都是目前还不足以，就是啊convince我们的消费者去花这个钱去买单的，那所以归根结底而言，我们今天所care的还是这个，回顾一下我们上次讨论过的。

就是future display and visualization series，对吧，那这个也是我相信在大家上一次给大家展示过的，那这些所谓的科幻电影啊，就给了我们很多很多的。

但实际上我们还是会focus到这两个点上面，这也是我们今天要讲的，从like you和photograph的角度来讲，观赏和全息显示它是更适合服务于这两个啊应用场景的。

就是一个是多人的这个呃分享式的这个显示，第二个就是我们所谓的禁言显示了，那我们先来讲这个进行显示这一块吧，就大家其实肯定都或多或少的试过了各种各样的显示器啊。

那我们上市其实也给大家普及过了人眼的一些问题，那实际上你所看到的大多数显示器，question two，以及他们最新的quest for，它实际上本质上无论它更新到目前的三代，还是一个啊2d的显示器。

然后经过一个放大镜，一个镜片投影出来一个虚拟的2d平面功能页观看，那在这个情况下面，你所看到的这个virtual image，它实际上是一个fix foger，那它是一个固定的焦距。

它会呃缺乏足够的我们所谓的称之为focus cues，那最强大的一个点就是我们之前所一直强调过的所谓的vc啊，聚焦跟自适应辅助的这个confit，那它带来的问题就是为什么大家在佩戴啊。

这个头戴显示器超过一定时间的时候，你会产生这个头晕目眩的一个主要原因之一吧，所以要解决这一个问题呢，我们说光学领域和计算机图形学领域在过去的十来年的时间里面，花了非常非常非常多的这个经历和工作。

在研究如何去使得我们的这个near display能够提供一定的focus cute啊，这个还是需要有这个computational的这个助力了，就缺乏了算法本身的助力，这个的实现是非常困难的。

那这期间很多的工作其实也是meta之前收购的oculus的的一些很多员工，那首先我们来看我们说呃，传统的这个vr的display，它只有一个的focal plan。

那如何实现它这个更好的这个呃圈圈的focus呢，最简单的我们来做这个very focus对吧，我们还做一个公啊胶平面的扫描，那啊单纯的去扫描全部的光谱面，其实它这个成本非常高的。

但是我们目前会有这个所谓的gas，the i check in the technique，所以我们有了这个叫做gta very display，sorry，那它实际上有一个很大的问题。

就是说我们需要有更多的这个啊扫描器件，而且这个扫描实际上是需要一些，你看尼克就是机械上的一些啊器件，或者是说从电子上来实现一个变焦透镜，把这个乘出来的虚拟项乘到不同的相平面位置上面。

所以它会带来的问题是它的这个系统结构相对来说还是比较复杂的，那接下来我们就有了，如果我们不做扫描，或者我们直接在呃不同的这个面上面乘出来多个深度呢，这就有点于有点像。

我们把一个3d的场景给分成了不同的不同的这个平面，那实际上反过来讲，如果我们要通过它来做成像，那是否我们在显示层面也可以这么做，如果我们可以把这个显示的图像给成了不同的深度平面上面。

那我们同样可以提供足够程度的，focus cups right，那这也就有了第二类的display，我们称之为mari plan display，那它会有什么问题呢。

同样的你要实现这个mac print，就像第一类的very fox，但我们可能会需要的是什么，我们需要一个非常高速的spiritual rate，去改变图像成到不同的这个深度上面，而且是尽可能的多平面。

尽可能的连续是比较好的，那或者说我们需要有多层的这个lcd print，这个大家也是了解的那一样的问题，他的这个system complicity同样是非常高的。

那第三种这个啊显示种类呢来这就开始逐步过渡到我们今天要，讨论的一些方向上面了所谓的光场显示，那这个广场的概念其实等会儿我们会具体说啊，已经提出来了十来年了吧，就算光场显示，它也有将近10年的时间。

他经历过了一段时间的波峰，但短期内又有稍微一些下降，那这个最大的问题是什么呢，它非常好，它能够提供这个三维的显示信息，但实际上呢我们都知道它的分辨率，它的这个信息带宽是非常受限的，那只有两个限制。

一个是本身它会有一个所谓的depression里面的限制也是限制，第二个是我们目前所用到的大多数的光场显示，它还是，基于现有的display panner，比如说我们的液晶显示面板。

那它总体的像素总数以及它的带宽是固定的，所以实际上它的一个上限是在那里，那我们人总是希望消费者总是希望能够同时实现大的视角，同时实现大的平面分辨率，在这个情况下，面。

目前的live display他的这个resolution是非常limited，似乎我们回到了这个大家一直在问的概念啊，或者是说全世界都在讨论概念，holo，就每一天都能打开这个网页啊。

凡是谈到语言宇宙的，就大家都会提到全息holo这个词，但到底什么是holo，我们现在看这个holo graphic evolution，就上次其实也给大家简单的提了一下，在1947年的时候。

就是超过半个世纪以前啊，the disable development这个theory of horrographic，新有了这个theory develop，但是他真正来做起来的是什么。

其实他啊去push他把这个事情做完了，是60年代初我们有了laser，就是类似的发明了这个其实也是啊，前2年我们有一个international day of light对吧。

国际光日也是讲到了lisa的这个事情，然后到了62年我们就有了这个project article horror，the record string obje。

就真正的用这个laser用了这个呃光记录的全息的方式，实现了3d物体的记录和重构，然后他就沉寂了将近20年的这个时间，一直吃到了80年代，作为全新的探讨，又有了一波新的浪潮啊。

这里我们说在80年代初的时候啊，我们会有他得到了一个很大的发展，那主要由于是laser的机，就是激光的这个更新换代了，那我们这个时候从传统的一些比较复杂。

比较昂贵的激光器过渡到了我们有这个solidler，所谓的固体激光器，对，那这个肯定自然而然的就push了前全新的研究的发展向前了，所以在1983年的时候啊。

我们这全息有了第一张这个credit card，在信用卡上面有了这个所谓的类似于现在的这个全息防伪，然后又沉寂了将近20年的时间，这个历史总是惊人的相似啊，真正的从全息防伪这样一个静态的全息图像。

又经历了将近两个decade，在09年的时候，我们有了这个interactive，however is play，它终于被给比赛出来了，当然这还是一个lptap实验室的产品，然后在10年代。

无论是在光学还是在图形学领域，我们就见证了又一波浪潮，有很多很多的这个关于全息的这个呃学术论文被发表出来了，ok那我们来看一下全息呃，今天我们展示的是光学全息啊，还首先还不知所谓的这个显示的概念。

还是一个holograp，大家可以看到啊，光时的全息它实际上是非常的逼真的，它可以record的真实的哦，场景中的光场讯息，比方说我们左边的这个场景啊，这个是一个真实的博览会上面的场景应该是在俄罗斯吧。

12年的时候，然后这个virtual for real的这个场景是非常非常相似的，那到底是如何实现这个所谓的光学全息呢，我们来看下一张图啊，就是是全息的记录和在线，我们说实际上就是八个字。

该设纪录也是在线，从光学的角度来说，那最简单的我们来看有这样一个光路啊，首先我们有一个cp人来b，比方说我们有一说这个啊干涉的相干光，相干光，比方说激光，然后我们把这个激光打到一个冰speech上。

就是对这束相干光进行了一个分数，分成了一竖向前平行的传播的光，另一束光是向下对，有一个转折的过程，我们称之为两路，一路是illation照明光路，另一路是这个refresh他的这个呃参考光路。

让我们知道当照明光路打在物体上的时候呢，原来的这个平行的平面的波经过物体表面的形态的这个调制，它会发生这个形变，也就是说我们其实物体给我们的illation b进行了一个modulation。

就是进行了一些调制，得到了这个object b，那这个object并向下传播，打的时候打到了我们这样一层所谓的photograph play上面，那通常来说可以是各种感光胶对吧，就类似于呃光刻胶。

或者是这个照片提交等等，这样一束distorted经过调制的有分布的物目光，所谓的object跟reference ban，他们产生了相，干它们会发生这个相互的作用，就会产生了干涉条纹。

那这些干涉条纹里面就encode了，也就是所谓encode，the wafer encode，这个拨弦，这个拨弦就会被这个呃感光的这个平板给它记录下来了，于是乎我们就记录下了三维场的信息。

那我们需要将它显示出来，衍射在线，那这个时候同样的我们说我们同样是用相同或长的激光打进来，一should be construction变对吧，就打到我们这个，记录下的这个全息干板上面。

那么这个钢板这其实就是在一个解耦解运算的过程吧，跟我们钢板上面记录的这些条文的信息产生了一定程度上的反应，这个时候就解耦出来原始的这个目光的波前的信息。

那就会得到了一个啊virtual image供观察者看到，这个就是所谓的reconstructing the horrogram对吧，然后这里我们呃右边我放了一个显微镜下面看到的全息图啊。

这实际上就是这全息钢板上面放大之后，你能看到的这样一个啊它的结构，那大家可以看到啊，它其实有非常非常多的微结构的，那这些微结构的产生就是啊我们前面讲到的，在这个recording记录的过程中。

经过条纹的干涉和产生的这个呃纹理，所以我们说实际上全息的产生的过程是一个干涉记录，演示在线的过程，那通常来讲我们可以记录下来的是整个雾光场的wifly。

所谓的波前重构出来的自然也是这个呃暮光场的wei fly，所以全息是从理论上它就可以encode 3维的信息，于是乎大家就会进一步想，那我们从这个全息干板可以记录下这样一个静态的信息。

理论上如果我们将它做成显示器，我们是否就可以自然而然的实现真三维显示，这个其实也是有点类似于嗯star wars，星球大战里面的这些虚拟的全息显示的一些概念，于是大家就会在在想这个概念。

我们一直在讲全息，在讲广场以及传统的所谓的mari view的3d display，那到底他们之间是有什么样的区别呢，我们说实际上啊他们是一个子集的子集的过程，我个人认为从光学的角度而言。

它实际上我们是从r从光线的表达的这个过程逐步过渡到啊，从微fly就是拨弦的表达的这样一个过程的，对一个一个怎么说呢，就是一个解析的过程吧，所以不论是like you也好，不论是holoba也好。

我们的终极目标都是希望去恢复啊，这个物空间的整个广场为flag，整个波前那无非是说在目前全系做不到的情况下，面，我们从wave稍微这个降低一些维度，我们降低到race，这个时候我们就叫life you。

虽然我们说全息啊，但实际上广场是全息的一个子集，所以我们先来插播一下，先来了解一下广场，那这边我给出一个非常former的wikipedia的解释啊，什么什么是广场。

它是一个vector function，the describe mt of life，following in depression through，every point in space。

就听起来是有些复杂的啊，广场它实际上呢就说描述通过空间中每一个点和每一个方向的，光的亮的一个函数，我们通常称之为全光红数，也是得益于一位科学家，大家其实应该都蛮熟的，法拉第对吧。

他首先提出光应该被理解为一种一个厂的概念，就如同他所提出的meme to feel磁场的概念一样，再后来呢就会有这个广场的概念是由这个另一位算命为这个啊，列位科学家在1846年，sorry啊sorry。

1846年是法拉第提出的，然后在1936年的这center，其在一篇scientific paper上面定义的这个三维空光，在三维空间中不是测量的经典论文，所以就定义了这两个词的意义，然而近年来呢。

光学里面的这个光场又逐步被图形学的光上有了一个更新的定义，我们这么说吧，上面这张图我们说这是全光函数的定义，是谷地的五个维度的，所以我们有一个c呃，five，这里就是五个维度去定义这根光线。

它的这个啊传播方向跟传播强度对吗，这个是维的，但过去的这个10年的十几年的时间啊，土星学graphics又进行了进一步的简化，用空间之后两个点uvs去表征了这个光线的传播，我们又称之为4d的广场。

但实际上不论是5d还是4d，我个人理解它实际上都是对这个更高维度的，we friend播前的一个表达的一个子集，于是乎我们就有很多的广场，那我们这个课程就要计算成像，但实际上广场它既是有计算成像的东西。

又是有显示的东西，我相信大家可能非常的了解了所谓的光场相机，或者说大多数同学可能知道广场都是从光场相机开始的啊，那光场相机其实是stanford的啊，06年的时候，marley boy。

还有他的这个p h d学生啊，n7 所提出的这样一个概念，那大家可能也知道了这个公司litter对吧，现在被谷歌收购了，那其实最简单的原理，它实际上里面就是一个大的敷衍，这阵列就是很多的微透镜阵列。

加一个大的主镜，就如同我这边图片给出的是一样，那实际上每一个微震静呢都可以理解为从一个角度，我们就拍同样的场景，那最后所有的这些场景的图像在被组件给encoding到cs上面去。

那我们就通过啊后期的算法的解耦，可以得到任意对焦平面的这个图像，比方说在这里啊，我们可以对焦在啊左边的这个是狗狗的这个图片啊，可以对焦到远近，比方说第一张图我们对焦的是前面的这个毛球，是在近景。

那第二张图我们对焦的时代的后劲，那最下面那张我们实现的是all in focus，也就是说一个非常大的景深，前到后的这样一个深度范围内，它都是处在比较好的聚焦的情况下面。

那这些东西都是在一次拍摄后期处理而得到的，所以这就有了光场相机，那大家自然可以想到我们可以通过这种方式获得关卡，但实际上我们说啊显示无非是相机拍摄成像的一个逆过程对吗，那我们如何去得到显示呢。

无非就是提供不同程度的不同角度的这个呃光是信息而已，那么举个最简单的例子啊，假设我们有一排的这个发光源，那每个光源对应的是一个信息，一个加一个透镜的一个啊一个怎么来说就是一个呃图像信息。

那实际上我们就可以通过呃成像的方式，反之的把这些信息定向的提供给人员观看，观看对应的是来自不同点发出的不同方向的光线，于是就有了观察显示，那这边是给了一个二一维的信息，一维的这个示意啊，自然而然的。

如果我们把这个扩到二维的维度来，那实际上我们就会有了真正的所谓的通常大家所知道的光场显示，这边只是给了一个非常简单的例子啊，通过一系列的array的投影，括diffuser什么的。

我们可以得到一系列的lifbg，就是对应了，大家可以理解为这其中哪一条就对应了，光场相机里面所谓的这样一个呃，微透镜阵列里面的微透镜所拍到的一个角度信息，当然它的encoding模式会有一些不同啊。

于是乎我们就有了life the acquisition and display，那说到了光场显示啊，我相信很多同学可能男孩终于下想到了就是啊goodwestern。

大名鼎鼎的高端western所提出的这个所谓的like you display，但实际上这么多年，科研人员也研究了不同形态的光场显示，这边这样我们可以做这个电视层面的，就是tv sours。

我们可以做这个portable device，我们也可以去做这个经营显示等等，我们把它所有的这些显示形态啊去拆解，看来它实际上基本的这个形态跟原理是类似的，就是多层显示，实际上无非是说我们有一层背光。

可以经过调制的背光，然后我们会有多层的lcd，通过一些算法，通过一些耦合，使得最终出来的这根光线它会代表不同形态，所谓的不同形态就说它encode了啊，不同的强度跟不同的方向，我们再来具体看几个例子啊。

在光场显示里面非常出名的一篇paper啊，tensor depression，那gin和那个dla dog现在就是meta facebook lapse的这个显示部门的director。

那郭德现在是stanford教授了，他们将广场表示为一个张量，一个tensor，那实际上我们讲这么多的这个液晶显示的层，无非这从数学上确实就可以表示为一个张量，那对张量进行分解。

我们就可以将这个高维度的光场不断的压缩成多个张向量的张量级，对吧，那这个所谓的多个向量的向量积，也就是对应到了物理层面的系统层面，用有限层数的液晶层可以实现这个完整的光场的过程。

这个是他们当年应该是12年前吧，对做的一个prototype是在利用类似于笔记本屏幕大小的这个液晶显示，三层叠加实现的这个光场显示吧，大家可以看到不同的这个视差图像。

好我们说除了这个啊笔记本这样的形态或者电视形态的光上，我们还希望大家大家总是希望把这个广场做到眼镜形态的，所以我们又有了lifesta display，那其实原理上一样的，无非是说在这个演技形态的时候。

我们大家有一些呃信息，有比方说我们有gates，所以我们可以做这个所谓的for viri对吧，那这个是呃浙大这2年的一篇paper吧，浙江大学刘旭老师团队的一些工作，这边也是实际的实验效果图。

大家也可以看到这个效果还是非常好的，当然了，我们可以再进一步的往外走对吧，就有了这样一个平台之后，有了两层的液晶之后，我们还可以做什么，我们除了可以做vr的display。

我们是否还可以增加更多的这个元素在里面，比方说我们去给它实现一个videos m r misery，比方说我们如何实现更好的interaction，毕竟小张所卖的这个原与车的空间。

最终而言我们是要与其他的用户进行互动，需要与真实的场景进行互动，所以呢我们在今年的这个是ut grass啊，to grass跟stanford今年的一篇h b vr的best paper。

那我们实际上做的就是从range端，我们有了一个focus step acquisition，的过程，然后我们有real time的这个tracking跟rendering。

我们又有了这个live serial display，就前面讲到了这个眼镜形态，或者说头戴显示器形态的光场显示，当把这些有机的结合起来进行优化的时候。

我们就得到了一个所谓的video is remake a reality，这个感兴趣的同学我们可以去看这个具体的视频啊，以及我们这个呃网页上的一些技术细节信息，大家可以看到，比方说这个也是视频。

我们可以看到这个前期上显示的是真实，可以通过这个显示器可以看，通过我们的头戴显示可以看到的，然后这边的蝴蝶是虚拟的对吧，然后大家可以看到用户的手可以实时的tracking，然后可以跟这个蝴蝶进行交互。

ok那我们讲说除了这个头戴显示的这个对于个人而言的广场之外，我们刚才说到了另一个显示形态，我们希望跟啊其他的用户去分享，有一个啊martin user是那个live display。

就比方说我们在开会的时候，比方说我们在做演示的时候，于是乎我们就可以像学术界这么多年也提出了所谓的capital life display的概念，这个概念其实挺简单的，早期我们想说，假设我们坐在圆桌前。

我们希望做的是什么，我们假设有一个高速的投影机，我们可以把图像投影在一个高速旋转的这样一个啊一个承接题目上面，那我们，就可以得到了这个共360度观看的光效对吧。

那这个其实大家可能会比较熟悉的是07年called devivid那天，squthe paper在过去的10年时间里，然后浙大的留学老师团队其实也是做了很多这方面的研究和改进，那最大的一个改进就是说啊。

我们把这个高速的投影机放到了桌面以下，这样子你在做交互的时候，光线就不会被用户的这个双手给挡住，同时我们把这个所谓的立体的金字塔式的，这个承接的屏幕给设计成了这个全屏的，类似于一个圆盘的一个一个装饰。

那这个情况下面它的这个，rotation，它的旋转实际上从这个立体的空间降低到了是一个implem，它的稳定性透光率都会更好，那于是转一圈的情况下面扫描一圈，大家可以看到啊，就是呃每一个角度。

每一个时刻的话是一个竖条对吧，那就高速旋转一圈的时候，扫描过来，其实就是类似于一个与啊筒状的这样一个观看空间，实现了360度的光场显示，那实际上算法上面是怎么实现的呢。

这个跟传统的这个图形时的random算法其实是类似的，我们先定义一些viewpoints，所谓的试点，那我们可以，从试点追击这根光线经过这个物体，假设是这个q这个魔方上面的一个点对吧。

然后再啊继续追击这个光线，打到我们这个script上面会有一个交点，那从这个scream是这样的焦点，它会经过一些折射对吧，再反向追击为这个投影机，就是project的这个投影点。

那这个就是我们这个在这个视频位置需要看到的这个图像信息，需要投影到屏幕上面的位置，那经过所有的这个点的追击之后，以及不同时刻的这个图像的切换，实施的切换，我们就可以实现这样一个3d显示的过程。

当然我们刚才讲到这，是对一个这个高度物理，这个virtual virtual direction而言，那我们又想如何去实现不同这个身高的人，在不同的视点高度同样能看到正确的3d显示，于是正在的团队啊。

在光学这方面确实他们是非常有建树，所以他们就引入了这个一个鱼眼镜头，360度的romi camera，那这个时候你就可以看到我们拍一圈还在图像，我们就可以detect上面，在不同的位置。

我们有use a one and usb，那我们的render在渲染这个过程，图形学的处理上就可以根据这个试点的位置去定向的投送，去改变这个不同试点的图像的渲染，大家可，以看到啊不同位置。

这个是是不同视角看上去的这个虚拟的魔方，右边的跟每个子图是左边的，这个真实的魔方的这个这个对应关系是我合的，我们接下来看一些真实的实验结果，那这些都是这个团队在过去10年做的一些工作了，大家可以看到啊。

我们可以比方说通过一些interaction的一些器件，我们可以做这个下下下这个国际象棋，那中间这个是这个360度的magic experience，这只老虎是看起来是浮在桌面的。

那这里我尤其是希望大家可以看的是右下角，这个我们称之为major procession，那其实很多时候大家一直在想到底什么是mix reality，就是我们要跟真实的场景交互有互动。

并且它更真实的场景物理空间是相吻合的，是相对应的，所以在这里啊大家可以看到的，我们把这个虚拟乘出来的这个cube，虚拟的这个craft这个cube跟一个真实的这个框框，大家可以看到是完全重合在一起的。

并且从各个角度看，它都是对应成立的，那这个也就证明了说，我们可以通过光学跟算法的这个有机的结合去实现interactive table to life of display。

其实这些工作都是很久以前的工作了，为什么这个时候在2022年代了，我还要提及呢，是说那么多年以前啊，其实很多时候算法的算力也好了，器件的这个贷款也好，都是受限的，尤其是在10年前，我们可能没。

有所谓现在的ai这个事情，那到现在我们再反过头来看，其实很多时候有了这个emerging physics跟emergent machine elligence。

实际上我们去重新visit这些当年做的一些方案，它也是有它的价值的，可能可以去inspire一些新的这个观察显示方案，或者新的这个呃，这怎么说说的源源宇宙的方案吧，ok从观赏的部分就到这里。

让大家可以看到前面我们给大家展示了几个广场的例子，实际上我们都还是在讲光线，这是全息的核心是什么，全息的核心是we float，我们讨论的是波。

那这里我们给大家展示这个classical computer generated hor管对吧，毕竟我们始终要做的是从呃光学记录的hologra。

但我们真正的dynamic display就是要给人眼看的，所以我们实际上还是要configuration for work的这个ip，这边我们有两幅图案。

那左边这个实际上是一个非常传统的叫做point in rome，就是所谓的点云的这个呃计算全息的算法，我相信图形学的同学们可能对点源已经非常的熟悉了，就不再展开在传统的这样一个方式对吧。

我们比方说我们要成为这一收啊，帆船那船上面的任何一个点有x y z的这个坐标对吧，那实际上它的x y z的坐标对应到这个平面上啊，对应到这个这个这个什么来着。

后关平面上面相位平面上面它实际上就是一圈一圈的环对吧，它实际上就是一个球面波汇聚到这个点，而球面波的相位就是你可以看到的这一圈圈的还贷，而最终我们实现了这个全息图。

最简单的算法就是ok我们一个点是这样一圈圈的环节，那我们把所有的点都追击都算出来，有n个这样的一个还贷的组合，那最终我们把所有的这些相位给super propose，就说我们把它相加起来就得到了全息图。

这是一个最难if的一个算法了，pinbase phone crow base，然后我们再讲右边的这个右边的这个又是另一个思路，我们可以从the point cloud，我们把一个三维场景的分解啊。

我们可以分解为点晕，那也可以分解为这个所谓的layer，就是一层一层的，没有，sorry，那我们把这个3d场景给分解成为了之后呢，每一个新的element就可以asize到它最相近的。

这个前面这个wafi上面去了，就同样是这样一个概念，小的这个微fla，比如比方说这个convolution ergo propagation卷积的这样一个运算，那这个是最基本的这个呃计算全息的算法。

这个这些算法会有哪些challenge以及哪些机会，我们说啊它实际上呢就是几乎所有的design，你把它这个拆解之后，它都是这样一个一个一个呃框架，我们首先有一个光源对吧。

我们刚刚在前面讲了这个光学在线的时候，我们需要有一束路，有一束入射的重现光，那比方说这里我们有一个激光，他发出的一个球面波，经过我们的cording majs就给他啊准时成了一个平面波。

那这一束光我们就称等价于光学全息在线中的这个reconstructed力，然后这束光呢会打到这个special moderator上面。

这个时候的special modation空间光调制器就可以等价于我们前面讲到的这个嗯，记录是全息干板的那层全息干板，比方说那层光胶。

那这个时候呢即使录射波就会被special moderator上面的这个呃，每一个像素进行了一个调制，就等同于这些像素的信息，就代表了我们这个encode的那些呃广场，的条纹信息。

这个也就是说我们需要显示的全息图片内容，于是乎跟我们的在线播一样，经过传播之后，这些每一个点被调之后发生的直播，在空间中不断的叠加，不断的相互干涉，他最终啊这个波峰相干相消之后得到了这个wifi。

它就形成了你所需要的物理的光场，就是空间，或者说咱们这里不能用光场，应该说啊，how do they object wif。

那这个wiflow呢通过一些光学透镜或者是其他的一些realize被人眼观看到，那这个就是我们整一个或者graphic nei display的一个形态了，那最核心的一点就是说我们怎么去计算这。

样一个呃全息图，并可以显示到我们这个special mode later上，ok我们再来花一分钟时间来讲一下这个special modulator，可能其实很多同学之前也问到过了所有的空间光调制器。

那你可以理解为它实际上跟你的这个sensor一样的，它是有很多很多的呃像素点对，但每一个像素点他接受了一定的光线，那它又可以反射出来一定的光线，但是把这个光线接收，反射过程中。

它的光线加了一个所谓的相位延迟，就是所谓的光线增加了一个光程差，那通常来讲的实现方式就有所谓的呃air pos，就是离qu液晶的方式来实现的，大家可以看到通过液晶的偏转来实现光程差的调制。

那啊产业界其实有一些呃几大这个special model is的厂家了，大家可能也都了解过了，那我们用的比较多的就是德国的holi，ok那回到全息显示计算全息的这个算法。

我们说要生成这样一个计算全息的图，我们会有两种大类型的算法，一种我们称之为direct message，那什么是呢，就非常直接啊，字面的意思就是一次传播即可得到，假设我们有这只兔子对吧。

它过一个back propagation，直接传到了special live modulation这个平面，那这个时候我们从一把一个负整幅传到一个另一个平面的负整幅，我们得到了还是个负整幅对吧。

但实际上呢我们的这个空间光调制器只能显示整幅线，所以只能实现相位的调整，所以我们只希望保，留下来这个相位的分布，怎么做呢，就会有了所谓的double face egg coding，所谓的双向位调制法。

这个大家应该也是听得比较多了，就通过这个呃像素之间的interacing，实际上可以把这个负整幅的信息给encode到持有者相位的信息上面，它的好处是什么，这个是非常非常快的啊，可以实现实时。

但是它的坏处也非常明显的，就是所得到的这个呃全息图，你拿去直接display的时候，它通常来讲会create很多的copy，就是所谓的呃回回应成像就很多的ghosting images。

而且它的这个成像质量是非常低的，就后面我们会有看到，ok自然而然对应于direct message，我们就会有了这个iterative meth，所谓的迭代，但我相信做过光学的同学。

大家可能对项目恢复啊，face retriever j s算法并不陌生了，我们来举个例子啊，迭代我们同样是从这支bin开始啊，我们一次向前向后传播，转告这个special leo的平面。

对我们保留下face，然后把这个呃整幅被丢掉，然后我们用这个当前的这个face进行一次正向的传播，得到了这个a bunny，那我们就在这里把face给丢掉，我们留下了这个减幅，然后再次进行了反向传播。

通过这样不断的正向反向迭代的过程，最终我们可以收敛到一个比较好的这个相位图，那同样的这proplication算子还是用了这个所谓的angular special，就是所谓的交互理论。

当然也可以用这个所谓的啊菲涅尔衍射啊，from coc衍射等等，就是光学的同学可以看一下复利光学这本书，其实讲的非常好，叫郭德门stanford出版的，那实际上呢它就是一次获得两次的复利变换的一些vi。

ok我们来做一个总结啊，我们说通常有这两类算法，那通常来讲迭代的算法它是相对比较慢的，很难实现，实是它的迭代的带来的好处，就是我们尽可能地收敛到一个比较好的结果，所以通常来讲它的这个成像质量是会更好的。

那我们在这里做了一个比较大的调研了，我们说所有的这个计算全系通常有这样一个渠道，就是所谓的image quality跟我们的run time的一个trade off。

我们通过在一个很大的dataset上面去做了一个研究，我们发现即使目前现有的这些啊迭代算法，它总是有，一个上限在我们的simulation的结果里面，它就根曲线的上升，当你这个迭代的次数不断增加。

它最后收敛的这个趋势越来越少，于是乎我们会希望去呃调研说，如果有些更简单的方法可以去bypass这个这些问题，我们实际上也能得到跟这个最佳的效果差不多的方法，但是这个算法就简单了很多。

那同样的我们说现在有了这个machine learning对吧，所以我们可以去得到一个比方说hold that啊，实现了跟这个迭代方法差不多的成像质量，但是它是实时的。

所以我们的问题就在于之前所有的这些方法，传统的计算全息，它我们称之为kristic，启发性的，从现在这个modern optimization的角度而言，我们有希望做的优化过程。

它是deterministic，就是说我们算法该收敛到自己，找到一个合理的解答，啊这个我们后面的说，descoptimization，我相相信在之前几节课程的时候。

这个啊孙老师其实给大家来个或多少讲过了，这个所谓的梯度下降优化的这样一个一个算法啊，很简单的sorry，假设我们要做一个优化，那我们每一步都是一个梯度优化，我们从什么开始呢。

我们从一个random相位开始，我们向前传播一次，我们会得到了一个这个副厂，就我们得到了这个f have free啊，free space propagation的model对吧。

这里那我们把这个have提取它的这个整幅讯息，跟我们这个目标的target跟target etitude a进行一个比较，我们就得到了一个loss，对吧，我们把这个loss depp给回去。

我们就得到了下一步的这个场啊，sorry，下一步的这个相位，那经过这样一个不断迭代的过程，它就可以得到收敛到比较好的这个相位全息图了，实际上他的这个呃ultimization trip是非常简单的。

就是gradient design g d，但是我们说通常来讲最大的问题往往都不是算法，最大的问题往往是实验，尤其是我们这种学系显示这种实验性科学，我们说俄罗斯是什么样的这个计算学系的算法。

从这个simulation的角度来讲，它的显示效果都是非常非常好的，比方说第一排大家可以看到的perfect right，但实际上在实验过程中总是会有这样或那样的问题。

比方说model miss bench，比方说真实啊，系统中的一些相差等等，它都会带来很多的哦这个啊wifly这些distortion。

而这个refriend distortion往往都是在呃波长量级的对吧，因为我们这里探讨的都是这个波长量级的变化，那学术界花了还有一些时间去讨论说如何有一些啊ai bass的一些技术。

可以去帮助我们做这样一个矫正celebration，而且是一个fly automatic man，所以我们就提出了叫做camera in the holographic概念，那其实这个概念很有意思。

很简单了，我们来说假设我们有两条的两套系统，一套是simulated的全息仿真的这个全息显示，另一套我们是这个真实的全息显示，仿真的全息显示，当然是perfect对吧，是没有相差的。

没有任何的degradation理想情况，然后真实的这个全息显示，我们又是有optic aberci，那如果我们把这张生成的相位图同时显示到仿真的跟真实的，这两个special moderator上面。

然后进行一次传播，我们会得到两个呃，负减负差对吧，我们这里有f跟ht，那我们在真实的这个全息显示中，我们可以放一个相机去拍摄下这张真实的这个mt 9。

然后我们把这个真实的antitude呢跟我们的target，希望得到的目标的这个antitude做一个lost，这就是一个正向传播的过程了对吧，那我们来考虑反向，我来反向的过程中。

我们不考虑这个真啊真实的这个全息显示的，因为实际上的真实的显示器上面，我们是没有反向传播的过程，我们没有办法对t to进行反向传播，我们去考虑写啊，similation这条pass的情况下面。

我们可以把这个loss求梯度反向传播，再传播到啊special moderator，我们可以去update这个face，这已经用了一个非常啊simple是clever and trip。

就是看到这里这里我这边写了一下，f pad是mination的，是我们可以得到的，assessment是真实的，是incessible，但是我们认为说sorry最终收敛的时候。

simulation跟真实的这两条pass它们之间应该是尽可能的近似相等，所以我们可以对这个梯度进行一个替换，来进行一个优化，这样一个不断的这样一个迭代优化的过程，我们就称之为camera的路。

那这个时候由于camera参与，所以实际上真实场景中带来的就像这些误差啦，啊degradation呢都会被encode到这个优化过程，中那他所得到的这个最终的全息图所include真实场景就更加逼真。

所以最终成像的这个效果自然就更好了，我们来看实验结果，左边是这个所谓的理想模型，就是我们不考虑真实场景是真实的，这个实验设备中会有哪些设备有哪些误差。

右边是这个camera road所优化得到的这个全息图显示的效果，大家可以看到啊，通过这个camera的路，我们实际上面它的这个呃显示效果会更加的对比度高，它的这个呃背景的噪声会低对吧。

所以ky的loop that's rescue这个成像质量，那这个存在一个最大的问题是什么，就是说每一个场景我都需要办个camera录，我都需要算一遍，model training。

我们是否可以借用这个概念，确定一个model出来，现在我就不需要啊，每一个场景都去做一个新的这个target，我们都去做这个cameron的路，还有同学在弹幕问到数值仿真时，是否需要对。

强度注意强度厂的采样啊，这个肯定是需要的，对这个当然也是有各方面的，一个是你的simulation，拍到了图像的过程，那通常来讲说啊，我们会倾向于相机拍照的过程。

这个相机的这个分辨率肯定是尽可能的高考对吧，对，但是真是通常在优化的时候，在前几度优化的时候，我们会对这个高分辨率图像进行一个勾选，broad first，就是先消除一些噪点误差带来的影响。

关于这个问题，我们其实在我们发了两篇paper中的啊，不是材料，是有这个详细的讨论的，感兴趣的同学可以去看一下，ok回到我们这个呃内容本身，这个时候我们想的是说如果我们有个data set对吧。

那我们把相机放在那不断的去拍，不断的去圈里，我们可以通过拍很多的图跟这个呃做这个training去算一个model出来，这个model呢可以是include一些物理信息的。

source intensity vs可能是透镜带来的相差，那这个可以用泽尼克来表示等等，那我们就可以把这个optimization就分成了两步。

在这个training stage我们算出来这个model，我们需要这个camera，在inference stage的时候，我们就可以把科目拿掉了对吧，我们就不需要这个camera。

但是我们通过算好的这个model再去啊，加上这个全集全息，加上这个target进行迭代，可以得到任意图像的全息图哦，有同学问说相机的非线性响应会有很大影响吗，好的对，那肯定是会有的。

通常来讲不单纯只是这个项目啊，所有的这个做成像做显示的项目，我们通常来讲所有的呃数据的数据操作，我们会在线性空间去做，所以我们实际上是在相机拿到数据的时候，是从它的raw data进行来操操作的。

那如果你相机最终给出来的能够得到的这个ss的数据，是被线性非线性响应调制过的，那你肯定要进行一些preprocess再去啊，给到我们这个update的过程，这是一个方面啊，这另一方面退1万步说。

就算相机的非线性响应会影响这个成像质量，我们实际上希希望去优化的，不单纯只是非线性响应带来的这个degradation，它对这个非线性非线性对他的这个这个影响是比较弱的，对这些也是有可能被提升的。

那我觉得这个是具体操作的问题了，通过我们叫做camera change model的方式，我们就可以得到了另一个这个呃计算程序的算法了。

这个时候我们就不需要相机针对每张图像进行一个camera的路由优化，那同样这边是一个比较啊，左边的是rgwai传统的迭代，右边是啊，经过我们这个相机券的model的迭代的图的实际显示效果。

大家可以看到啊，虽然说这个图像质量并不完美啊，毕竟是inference的，但实际上它的对比度和噪声水平都有了很大的提高，所以我们解决了这个啊image quality的问题对吧。

那我们说最终我们还是希望他算得越快越好，所以speed的问题，那我们就必须来探讨这个神经网络了，后来呢，那什么是coronline，coronline。

实际上我们就是一个fifa world的一个network exture，那我们来看它最基本的架构啊，首先我们是有一个小的unit，我们称之为target face generator。

那给定了一个目标图s rgb的空间，我们给它转成了减幅，我们把它丢进这个小bi，我们得到了一个相位在td print对吧，然后要经过反向传播。

我们会得到了这个呃this is source跟antage source，所以实际上就是得到了一个厂。

然后我们把这个副厂负债不再丢给了这个face in code去得到special modeler的相位，就是啊实际上那个所谓的face in code就是如何把啊复诊服务的信息给他。

encode到只是有相位的信息上，因为我们最终能显示的只是这段相位图，所以那接下来的过程在确定的过程中，我们就是把这个相位图显示出来，正向传播，得到这个simulator construction。

这些就跟我们前面讲的这个步骤是一样的，然后我们去做loss，就可以得到最基本的htm，但大家注意到这个时候我们假定所有的光学都是perfect对吧，还没有考虑上车，所以下一步呢我们需要把相差给考虑进来。

我们需要把我们前面讲的这个camera rap chan model，比方说这个相差整理课啦，比方说这个啊光源光照，这些给他加到我们这个poor net里面来，就对其中的某些模块进行调制更新。

那这个时候我们再进行一步的确定，这个时候我们就得到了，how to say fx inspired neural work for computer，generated her graphic。

ok那我们说我们解决了这个啊速度的问题，解决了成像的问题，但只要我们还用激光，就一定会存在另一个问题，就是spec，那什么是spectrum，大家可以看啊，就尤其是在这个天空的位置上面。

会有一些很多的散发，啊这个产生实际上是这个所谓相干光源带来的问题，那一个最难if的解决方式是什么呢，大家可能听到我们把激光换成vd对吧，我们把相干光换成非相干光，那散漫自然而然就弱化或者消失了。

但我们希望说我们如何去把这个过程变得更加smart，更加elligent，而去损失它的这个成像质量了，于是乎我们就调研了。

我们称之为cashepartially coherent and neal graphic，我们把这个激光mei换成了l d或者是slap，slap就是supernoion d，我们称之为这个psla。

那我们知道l e d跟s赛的区别是跟激光的区别是什么，激光是单点单波长对吧，那led是宽波长，以及它是方的，这个呃像我大小就是psize imming area s，在介于二者之间是单点，但是宽光谱。

那这个时候一旦是partially coherent的，大家可以看到从special later上打出来的这个呃distorted wifi就不再是一个wifi。

而是很多个wifladistorted wiflag叠加到一起的，就比如我们这个呃animation动画演示的效果，那这个时候我们相机拍照的图像呢就不再是一张呃shp的图像。

而是很多图像的叠加就会产生了不，我们就希望说诶我们是否能用算法计算全息的方法，通过预计算在photogram上做视频coding，那通过这个公式的decoding，把这个blog给尽可能弱化，消除影响。

于是我们就有了这个partially coherent平和graphy的项目，这里我不再展开技术细节的，大家可以直接来看最终的实验结果，所有这些都是实拍可以看到的，我们首先要对比lisa跟d。

那想要拉a laser，就是图像非常的sharp对吗，但是大家可以看到噪点激光，当我们换成l e d的时候，sorry，不好意思，我今天这个声音不太好，我们的这个散白消失了，换成led。

但是他同时introduce the blood就带来了一些模糊，因为它实际上是一个宽光谱的图像的叠加，就等同于是很多张图像有一些小人位移之后的叠加，那我们再来看g跟sn，这两者都是所谓的宽宽谱对吧。

都是所谓的partially口译论，但只有sl才能更好的保存这个图像的细节，它的sharpness，然后我们再来看这个啊，laser跟sled的比较，激光跟sl他们同样是保存啊，保留这个图像的细节。

但只有这个s类可以通过这个宽光谱在多长量级的一个叠加，去实现这个消散班的这样一个功能，那这个是另一个显示的例子啊，这个是真实显示的全息图，而不是放了一张2d的这个图像，上放了一张这个2d显示的图像。

上面左边我们是一个算出来的hologram，就是真实显示到我们的special letter上面的，右边是我们的相机拍到的真实的全息显示的图，那我们可以看到，即使通过这么大概率的放大。

这只老虎的这个啊玻璃体还是非常非常高的，对我们刚才讲的这些都是第一代的所谓的这个neural graph，我们在这里先做一个暂停嘛，就是所谓的第一代。

就说我们先有了这个neural graphic这个概念，这个family，然后呢我们去提出了camera road的这个概念，通过相机闭环优化，可以去mitigate to encode。

这些真实物理系统上面的degradation，带来的图像质量的下降，我们把这个下降的把东西给in code的优化过程，在这个优化全息图的时候就给它考虑进来了，那最终我们得到的图像就会有一个更好的提升。

但实际上我们人总是会希望说如何去得到更好的representation对吧，于是乎我们又去调研了，因为city holographic with a better model。

那这个时候我们就更想传统的这种呃纯物理的inspire，这个model它可能还无法表征从更广泛的情况，为什么，因为物理模型其实是非常复杂的，而且真实场景中的变化远不止我们考虑到的。

比方说透镜相差等等的这样一些简单的参数可以去把它cod进来的，所以我们在想，我们在退一步来讲，这个时候我们是否更多地利用一些neural world pe呃。

representation的这些capability，可以更好的generalize我们这个model的这个encoding capability，于是乎我们就提了一个新的model。

我们称之为啊cnm proxy nm，然后跟之前所有我们做的这些工作的真实显示场景的比较，大家可以看到啊，又有了一个进一步的提升，这个是另一个例子，然而我们说全系最终是为了三维显示。

所有不为了三维显示的全系工作最终都是耍流氓，在我个人看来看，所以我们希望做的是什么，我们希望最终compul的一个cd的后果，那怎么去表达三维的形态呢，最基本的我们说我们有r g b d。

假设我们要恢复这只bunny，我们有他的gb图，有它的深度图，我们可以首先将深度的图给decompose的不同的layer mask上面。

是于是就可以把这个rgb的图有d comp到不同的maimage上面去，那我们把这些tiko的desplayer images给丢到这个啊，cnm pc就我们提出了这个model里面。

那同样的用这个camera capture，在不同深度的聚焦图像的这个呃呃数据集进行圈里，那我们就可以得到了一个three d horim based model。

好这边有同学问到脚谱传多脚蹼传播是否可以听网络提的，这当然是可以的啊，就理论上啊，网络是可以啊，impressed的，替代任何的这个propagation或者是operation的。

对我们之所以在这里还讨论了一个脚步，是说脚蹼这个毕竟是物理学的一个传播过程，它从物理学的角度而言，它是呃accurate对吧，因为以后如果我们纯靠一个网络黑箱去encode所有的信息。

只要encode它的相差，you are encode这个propagation传播的这个过程，它可能会变得太epose，就是有太多的未知量让一个网络去去完成。

那我们觉得这样来说可能会比较比较trey对，所以我们希望说其中有一些部分的这个功能，我们是知道是一个笃定的解答，我们可以把它当成一个约束去帮助这个model更好的收敛哦，对正好有个同学回来说。

脚步传播是一个很好的物理约束，对其实也是这中间一个原因，那到目前为止我还没有给大家看我们最终做的这个样机啊，所以我们做了一个vr的样机，也做了一个a2 的样机，就是argumental l2 级。

那这个a2 的样机呢，我们通过一个波导来实现了这个呃图像的耦合和偶出，接下来给大家看这个显示结果，这是一个vr的场景啊，这是一个三维的啊，室内场景我们看书架，我们再再看一遍啊。

就是我们可以focus在前后不同位置的时候，大家可以看到箭头所指向位置的这个对焦的情况，对这里是这个a r的场景啊，再播放一遍啊，这个可能有点卡对。

大家可以看到我们可以聚焦到前后不同场景前景的这个玩具车，后景向这个狮子王那前进，我们有这个traffic light，traffic speak site对吧，这个splimit。

然后后面我们有这个butterfly，大家可以看到不同的这个离焦和聚焦效果，那其实之前有很多同学也可以可能可能看到啊，有一篇n去年有篇nature的工作。

mt组的他们用了这个demon network去实现了这个cd holo graphic，是一个非常不错的工作，大家也可以关注一下，也试试下rt v b d的，那这里会有两个问题啊，大家可以注意。

一个是说这里面并没有考虑camera录，所以实际上这些算的东西都是假定你的显示器件是perfect，所以这个光学相差，所以它图像质量并没有达到最好的要求，也就是大家可以看到所谓的离交量上面呃，近视较深。

尤其是这个啊这只8米的这个边缘的位置，它实际上是有artifacts，它并不nature并不是我们真实看到了这个离交的过程，那这个有几方面的原因呢。

一个是说呃这篇paper用我们这个demon training的，方法并没有考虑这个不同胶面的这个离交真实离解的过程。

第二个是他们的这个face encoding是直接用的这个double face encoding，所以其实是有很多的问题存在的，所以我们说真实的focus use matters。

那什么是真实的focus use呢，就说我们希望全息显示，最终能看到的这个娇声的效果应该是跟非相干光看到的叫声效果一样，就应该是给你拿单反的一个镜头去拍的人像模式，所看到的这个离交效果是一样的。

那这个时候我们说啊需要很大的自由度了对吧，那传统的这些呃计算全息的方式可能就不适用了，那这里我们会进一步研究了，我们可以利用时域的方式做encoding，所以有个tmt press或者关费啊。

今天有时间关系，我就不再展开了，因为我们后面还会有课程以及games的这个talk，会具体呃跟大家展开技术细节，这些牛肉和graph的一些工作，所以我今天在这里可能只是跟大家简单的提怎么来说。

简单的抛砖引玉一下，就上次可能也给大家看过了，这是一个真实的这个全息显示的结果，大家可以看到啊，这个rap从后往前奔跑的过程，大家可以看到这个叫声的变化啊，聚焦效果。

报警的这个竹林跟前景的这个correct，它的这个呃叫声的变化，而且它的这个离家的过程，景深的效果是非常自然的，对具体具体的技术细节啊。

我们会在12月初games会另外组织一场这个啊stanford的seminar，会有我们stanford的同学来给大家详细的解释，我们今天讲了很多所谓的competition，abograph。

distance全系，这是肯定是一个热门的话题了，但实际上很多这个研究领域的工作就是在想如何把这个传统的jpeter，generated holographic跟这个machine pages结合起来。

那我们退1万步啊，退一步回到我们之前开篇在讲的时候，所谓的like you跟全息显示，我们说市面上已经有很多的显示方法去尝试解决目前的问题了，尤其是在原宇宙的框架上面，我们有了very sole。

我们有了mc plan对吧，那么我们有了来信，但实际上我们还有了全息啊，全息还远没有达到当前这些very focal markeplan所能达到的这个，显示效果的水平，可是我们说啊。

我个人认为从来就跟全息这之间有一个结合的过程，是一个很不错的方向，所以我们今天才会给大家去简单的分享一下life，you and holographic display for vr a r，到这边。

这里有一点我可能个人的私心还是想要提及一下，就是你会听到很多很多的这个呃工作很多很多的报道，kim说啊，我们今天有新的全息显示啊，我们今天有更好的这个horrogram something bout。

对我可以告诉你的事情，任何所谓号称consumer level的，全息显示投到显示器，目前倒是不存在的，只存在于ppt或者是实验室产品，经过他们call nspolo。

但是不是所有的holx is hollow，那关于这方面的工作，如果同学们比较感兴趣的话，我这边也出了一些比较代表性的一些工作，大家可以看一下，同时如果同学们如果对这个感兴趣，想继续深造的话。

可以关注一些这些组，最后我们来讲一下horizon，这个其实也是今天有同学在群里面留言问我的啊，就是未来到底是在哪里，我们说我们总是相信了光闪和全息显示，它会带来很多很多的优势，英雄rush等等。

但是我们说这还是一个非常非常荣威除垢，哪怕今天meta或者是其他的公司怎么去画这个饼，说啊，我们在可以预见的2~3年内，我们就会有永远宙的爆发等等，实际上我还是认为这是一个比较漫长的过程啊。

那总的来说一个最显著的点啊，其实我们今天也没有谈到，在后面的课程我们会提及的就是里面加ebox y，就大概可能也经常听到了这个词，你所能看到这个图像的区域的大小跟它的市场角是受限的。

这当然只是这其中一个很重要的这个待解决的问题之一了，那总的来说所有，的这个所谓的光场显示或者是全息显示，因为最终来讲它都是要给人眼去看的，对今天的内容大概就到这里了。

那关于这些呃后面讲的这些全息的一些工作的具体的技术细节，我们后面会有专门的课程内容，或者是这个games的微米娜会邀请呃，sao的这个同学们来给大家进行一些分享。

啊有同学问到说r g b t是怎么拓展到mark 6的，所以这个是一个很好的问题啊，在我们最新的这篇mari tmi press的这个上面，我们提出的这个架构啊，它是比较first v。

我们可以输入是rh b d，就是所谓的2。5d，我们也可以是输入的是3d，所谓的focus step，就是一层一层的focus stg，我们也可以是输入的4d就是所谓的广场。

自然而然的就也可以得到了这个mari 6，因为本身光场的信息，他就带了这个mt 6，然后这个呃全息数据是如何产生的，这个其实怎么说呢，就我们整一个所谓的计算程序。

converter general holographi在探讨的就是如何更好地产生全新的数据对吧，就总的来说，所谓的全息数据无非就是encode的啊，物理光场就从物理的角度，从光学的角度而言。

它就是规范了复检服务，然后我们要把负减负encode到上位，这个相位可供special模组内测显示，这个就是一个所谓啊computer horrobuffet的一个过程。

所以我不是太理解这个同学所谓全息数据如何产生，这个问题的初衷是什么哦，有同学问普通显示器是不是比5d工厂少了，方向为对，你可以说这么可以这么说，就说普通的显示器啊，我们二级的显示器。

我们有这个xy的这个点对吧，x y z的这样一个点，然后呢任何一个点发出的这个光线，我们理解为像在这个它这个呃像素点发出光线的这个空这个发散角内，它的信息是一样的，它代表的值都一样了。

比方说这个信息的灰度值是150，那么各个方向这个框里面，这个角度里面，它发射的这个代表的信息都是150，但可能会有一些衰减，可它就是没有变化的，然而如果是从光场的角度，或者是从全新的角度。

我们认为它对不同方向，它应该是会代表着不同的值的，哦离轴反射系统可以用衍射光学进行计算吗，这个也是可以的，没有什么问题的，那其实有很多的工作啊，不一定是做同轴的，离这个系统的话，它其实也有好处和坏处了。

那一个目前比较大的问题，你就不能进行很大角度，离轴是在于说空间光调制器的那个入射角度是受限的对吧，通常来讲我比方说这个airpoliquor base的这个呃spy moderator。

它的这个最佳的调试角度是在正负的10度范围内吧，在他的角度的话，它这个演示效率会下降的非常非常快，所以我们其实用的不多，那它带来的好处是什么，好处就是说所有的这个衍射光学啊。

它都会有一个高级刺和连音机刺的问题，这个我相信光学的同学都可能了解，那通过离职系统可以比较好的把这个几次给移开，就不会被人眼观察到，所以它通常来讲它这个成像的这个呃图像的对比度会更高一些。

他的这个呃杂光会少一些等等，所以这其实也是一个缺道夫，这个怎么说呢，就是，相位和振幅，它实际上代表的是波长，wiflag，那波长就是指物体发出的这个这个这个这个整个的三维光场的信息，那关于这点的话。

其实光学的定义跟图形式的定义还是稍微有一些些不一样的，就今天时间有限，我们没有办法展开啊，那我觉得如果感兴趣的同学可以再翻看一下这个富利光学这本书，有同学问实现rgb有可能避免tdm或者sdm。

首先不好意思，我想了解一下tdm或者sdm是指，哦曲面全息方向看，ok这个的话，哦十分复用，空分复用，ok，哦这这这个也是有可能的，对对了解了，就通常来讲我们要实现rgb有两种方式对吧。

要么就是通过这个时序的切换，r g b r g b的切换，要么就需要有些同步，要么是我们要做三个通道再进行呃耦合，类似于现在很多的投影机里面实现了这个功能，你说的是有可能避免吗，我只能说有可能。

但是这个成像效果并不会很好，最简单的我们来说，这就类似于一个啊partial hero的极限情况对吧，不同的颜色通道打在同一张图上面，它实际实际上就是，非相干的不同这个颜色朋友之间非相干的这个啊播唱了。

那实际上我们也可以去我们之前也做过这样的实验啊，就是同一张图我们去优化它这个呃rgb 3个通道，在图像一张全息图实现多个，但是目前的这个带宽来讲，它能够优化的空间是非常受限的。

我们实际上成像的过程中来讲，实现一些非常简单的小的图形是ok的，但是它的这个啊怎么来说，就是他的sharpness也不会很好，呃全息数据的通用存储格式只能由三维软件生成，啊这个我没有太理解什么意思。

就是说实际上没有所谓的全息数据的通用格式，我们只是说所以我所有存储下来的最终都是data，都是一个矩阵对吧，那我们只是说我们啊如何存储下这个相位的信息，比方说0~2派之间，或者是复诊图的信息。

我们怎么去存储下来而已，啊三维设计软件生成的通常来讲不会是一个全息数据吧，可能只是原始的这个呃三维场景的ground术士的图吧，比方说r g b d或者是mtv或者是那个point ground。

好端到端光学设计跟全息显示有什么结合，我们说其实camera的时候就是一个端到端的一个优化过程啊对吧，就是从把相机闭环合在一起优化，从一个端到另一个端，把光学的优化给合到一起，那光道端端到端光学优化。

update这个啊d o e套件的相位分布，实际上也可以理解为我们在update这个呃special modulator的这个相位，所以而且是相相结合的。

那实际上这个entral optimization跟camila in the rope，horrograph的这个概念啊，都是我们组在业界率先提出来的，所以基本上也是互相融通的。

这个我们后面也可以再找机会跟大家讲一下，这也是之所以我们这个会take a break来讲一下全息这块，因为后面的这个内容了，我们开始会逐步过渡到端到端，光学设计后面的课程内容，波导和全息是否有结合。

这个肯定是有的啊，stanford马上会有新的工作发出来，就之前我们刚刚那天工作已经是用了一个几何波导对，去跟晨曦做了一个实现dr的过程，那我们会再考虑进一步的，我们是用这个啊。

也是播到跟全息结合在一起的，steer马上也会有工作出来，然后其他的组啊，大家可以关注一下，天正和相位在深度网络中有必要分开处理吗，我觉得这个就是一个啊如何itation的问题了。

你可以给它分解为两个china，一个是这个实部和虚部对吧，也可以是一个mc 91个face，这是可以的，它实际上本身就可以处理复数，所以我觉得这个理论上来说，他们并没有本质的区别。

ok我相信大家的这个问题基本上啊尽可能的回答，可能今天有些问题我回答的不是很清楚，对今天非常抱歉这个原因，我的声音状况不是太好，对那后面的话关于这个啊全息这块，全息显示这块的一些最新的研究工作。

我们都会在12 11月底或者12月初的时候，在，在这个呃games的women的上面会有进一步的解释，大家如果想更了解更多的话，也可以欢迎关注我们的公众号，就刚刚提到的，有大多数paper。

我们公众号上面都有中文的技术解读，大家可以翻看一下，ok那今天就到这里，非常感谢大家的关注和支持理解。