简单了解VR头盔中，重要且相辅相成的Eye tracking 与Foveated Rendering技术 1

真的很初步的了解(汗，不一定是对的哈

眼球追踪技术(Eyetracking)注视点宣染技术（Foveated Rendering）

我们都知道玩游戏时萤幕的更新率与解析度越高，游玩体验更好，VR当然也追求高解析度，但是VR的需要处理的资料也相当的多，一个处理不过来就会造成延迟，我还有看到前几年有人说他居然边玩边吐...虽然不知是真是假，但是这也说明了有这两个技术的重要性。

为什麽这麽说呢？这要从人眼的构造开始说起，视网膜上的神经分布并不是均匀分布的，而是在中央点处有着最多的视神经，所以我们人眼在看东西的时候，只有我们视野中注视的那个点处，是最清晰的，接着周围就逐渐变得模糊，而我们要获得一个物体的整体详细资讯，靠得是我们眼睛不断移动、对焦，去搜集的。

而且，我们的大脑其实会自动忽略一些讯息不进行处理，在没有刻意意识的情况下，通常只会处理眼睛对焦的那一区块。(所以有些研究心理学或大脑的课程，会给你放那个经典的运球影片，让你看看你的眼睛都看到了什麽，或没看到什麽)

换句话说，若可以不用一直传输完整的高解析度的影像，只要把使用者眼睛焦点注视的虚拟场景处的解析度调最高，其他地方的解析度相对低的话，就可以大大降低头盔传输处理影像的运算量啦！

好的，美好的理想说完了，那是怎麽做的呢？

先读读eye tracking的历史

以下这边就是大概大概的节录这个影片的一些资讯。

最初最初，在医学上，会使用眼电图(Electro－OculoGram, EOG)，贴三个电极在眼上、眼下、眼角，来追踪眼球用。

後来也有人直接用摄影机拍摄固定头部的受试者的眼球移动，还因此解密人眼是如何看一个物体的，眼睛的运动轨迹是如何如何等等...

这些都是1970年代前，就有研究学者做到的事，而且是real-time的。

当时发展的有gaze point algorithm、pupil-center corneal-reflection(PCCR) Method等。

　
　
我们也因此得到眼球追踪的Performance metrics(影片的26:55处)，我另外也有查到别的10个眼球追踪metrics，不太一样，留着参考。

　
　
当时用的角膜反射来追踪瞳孔中心，虽然技术很赞，但实行起来干扰的因素有很多，像是眼镜的反射，而且需要在暗暗的地方等。

喔，我喜欢这句话：

Most image processing algorithms look at that thing, and they throw up their hands and they say, ‘I don't see an eye in there.’

还有眨眼与不眨眼也会造成问题，oh man，不会像是摄影机要追踪你的眼睛来好渲染这个酷酷的虚拟世界，但是你眨眨眼表示不可思议，每眨一次眼摄影机要再追踪处理一次你的眼睛的话，然後双方开始恶性循环：

机：我要找找你的眼睛，来处理..
你：我在哪(眨眼
机：oh..没关系我继续处理
你：恩???(眨眼
机：holy#%#^$%&...

那你大概就会吐了XDD。

还有瞳孔缩小放大也是个问题，这会需要校正。

*阿咧等等，VR头盔罩着我的眼睛，暗暗的，然後头盔跟我的眼睛之间的相对移动是0。

如果继续走实体的VR头盔路线，就要继续研究越来越小的硬体以及摄影机，以及萤幕还有镜片。

现在还没办法做到像吊点滴一样，把影像灌进人眼或人脑，不然也许可以走回用EOG去侦测人眼?

把影像灌进去，又或着说读写脑部吧，目前生物体是用电讯号和化学刺激，也就是要与蛋白质合作吧吧吧？啊啊～这部分的研究还不是看得很懂呢，只能说他们目前的研究很需要先进的显微镜技术或者说处理组织的方法，例如一般我们认知显微镜就是像在google map地图上查找部分地区，但需要技术去建立完整的google map(像这个是用卫星达成的 吧)，还有还有，把组织透明化，才能够在不破坏组织的完整性下，去进行研究，这样才能完整的了解脑嘛。

以上我说的两个：完整的显微镜跟组织透明化都是已经有在果蝇(还是老鼠)上做出成果的唷，但要找详细资讯得翻翻我的笔记才行。

英文单字

pupil center 瞳孔中心
gaze point 凝视点
corneal 角膜
iris 虹膜
hodgepodge list 大杂烩清单
clutter 杂乱
glint 闪烁微光
infrared region 红外线区
hardline ?不好翻
bifocal 双焦点
Straddle 跨越
pupil perimeter 瞳孔周长
double-barreled effect 双管效应 双管问题
triangular or the asymmetric aperture method 三角形或非对称孔径法，不知道是什麽但感觉很重要
inner canthus 内眼角
bogus data 虚假数据
Dry and Congealed Corneas ?乾眼和结膜炎?
ALS 肌萎缩侧索硬化症(Amyotrophic lateral sclerosis) 即渐冻人
lubricated 润滑
squint 眯(眼)
Ptosis/droopy eyelid 眼睑下垂
eyelid 眼皮
legitimate 合法的
sphincter muscle (虹膜)括约肌
Gimbal 平衡环架
peripheral vision 周边视觉

参考：
https://ictjournal.itri.org.tw/content/Messagess/contents.aspx?&MmmID=654304432061644411&CatID=654313611255143006&MSID=745127177633426074
https://www.youtube.com/watch?v=wi19uS4JFJ4&t=945s
https://imotions.com/blog/10-terms-metrics-eye-tracking/
https://www.kurzweilai.net/projecting-a-visual-image-directly-into-the-brain-bypassing-the-eyes