简单了解VR头盔中，重要且相辅相成的Eye tracking 与Foveated Rendering技术 2

上篇在这里：1

今天来继续简单了解Foveated Rendering吧～

眼睛的中央处(Foveal)是视觉最清晰的地方，我找了些简单的科普影片。

(from: https://www.youtube.com/watch?v=Rd8ao8B-J48&ab_channel=Jelvix)

Foveated Rendering是在Eye tracking有做好的情况下，将画面按照人眼看东西的解析度进行分别传送，越是周边的影像就传送越低解析度的影像。

这两个技术的概念就这样。

那技术实现的部分

Eye tracking

Eye tracking除了用红外光去找retina最亮的地方，现在也是有用机器视觉的方法去找眼睛瞳孔。

不知道头盔用哪种比较实际，可能还是单用红外光比较好？不然在暗暗的头盔内部，还要再装个小型摄影机看你的眼睛好像不是那麽实际。

看了The Verge试用Vive pro eye，他後面有说到

...They put the rings inside of the goggles on the Vive pro. So they're on the outer rim.
It tracks where your retinas are moving as you're looking through a scene using little pulses of light

　
看来应该是用红外光找的没错。

　
　

(from: https://www.youtube.com/watch?v=lxsLOnY9Yg4&ab_channel=TheVerge)

(from: https://youtu.be/nvNjlKp9-co)

Vive Pro应该是把Pupil Labs的眼动追踪器装在上面，可以看到图片里镜片外面那一圈(rings)，就是眼动追踪器，Vive Pro 2就没有这麽明显的一圈，不知道是内装了还是？

Foveated Rendering

这个技术，涉及到影像处理，在有了眼睛瞳孔注视点的位置後，将把注视点外的解析度降低，提高注视点的解析度。

既然是影像处理，现在电脑里玩的游戏都会需要用到GPU来处理影像，我看Nvidia的Gpu也说他有提供Foveated Rendering。

假设真的是交由Gpu来处理Foveated Rendering的话，那处理资料的步骤：

1. 眼动追踪器接收使用者瞳孔位置资讯
2. 透过传输线传送资讯给电脑
3. GPU利用眼动资讯渲染画面
4. 透过传输线把渲染画面传给头盔内萤幕显示

　
　
　
欧哇，这样的话，我记得GPU处理越快的越大颗，这样要怎麽做一体成型的VR头盔啊？

这样让我很好奇Valve Index呢！他们说即将推出一体成型的头盔。

之後...

接下来不知道要去看什麽才是对的，但我又在Pupil labs那看到hololens，貌似是属於MR的一种，MR还有AR之间的差别到底是什麽啊？

参考：
https://www.youtube.com/watch?v=Rd8ao8B-J48&ab_channel=Jelvix

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7903250/
https://docs.pupil-labs.com/vr-ar/hololens/#install-the-hololens-add-on
https://developer.nvidia.com/blog/nvidia-vrss-2-dynamic-foveated-rendering-no-assembly-required/