近眼顯示光學專家卡爾·古塔格（Karl Guttag）早前體驗了AR眼鏡廠商EyeWay Vision的產(chǎn)品，并撰文對其注視點激光掃描顯示器進行了分析，包括優(yōu)點、缺點和挑戰(zhàn)。下面是映維網(wǎng)的第一部分整理：
1. 介紹
我早前曾前往圣何塞參觀體驗EyeWay Vision的產(chǎn)品。這家公司制定了一個雄心勃勃的計劃來嘗試解決AR中的一系列重要問題。團隊正在開發(fā)一種基于雙激光束掃描（Laser Beam Scanning，LBS）的直接視網(wǎng)膜投影注視點顯示器。根據(jù)論文和專利，蘋果、Facebook和微軟都在LBS注視點顯示器方面投入了大量精力。
EyeWay的原型系統(tǒng)
我事先已經(jīng)知道原型相當巨大且功能有限，因為幾個關鍵方面依然在開發(fā)之中。最重要的是，目前原型屬于將“固定注視點”和眼動追蹤整合在一起的過程中。EyeWay有一個單獨的眼動追蹤演示，并計劃在今年下半年將視網(wǎng)膜追蹤與注視點圖像運動相結(jié)合。
就在我出發(fā)前不久，我詢問EyeWay是否可以拍照，團隊表示我可以（這給我留下了深刻的印象）。最后，由于機械限制需要從原型中移除一個零件，所以我無法拍出最好的照片。EyeWay提出用原型重新拍攝照片，然后寄給我未經(jīng)修改的照片。我本人可以確認所述照片與我親眼所見，以及我用自家相機拍到的一致。
原型的目的是展示相關技術方法的潛力。這有點像是研發(fā)項目的幕后一睹。和之前所有的文章一樣，大多數(shù)圖片都可以點擊查看更大、更高分辨率的版本。
2. EyeWay與Hololens 2的快速比較
我首先想指出的是，根據(jù)定義，注視點顯示器通過將“注視點顯示器”移動到眼睛中心凹在任何時刻瞄準的任何位置，以這種方法來欺騙眼睛看到高分辨率圖像。當你拍攝注視點顯示器的照片時，相機會捕獲單個高分辨率注視點圖像、過渡/混合區(qū)域、以及低分辨率外圍圖像。
我同時想說的是，我親眼看到過一系列不同的LBS生成圖像，包括前置投影儀和近眼頭顯。對于LBS生成圖像，注視點圖像的圖像質(zhì)量令人印象深刻，并且比大多數(shù)AR應用程序所需的圖像質(zhì)量要好。
下面是EyeWay原型和HoloLens 2以相同比例拍攝的相同畫面的照片。在這兩種情況下，左眼都在注視點區(qū)域中央。
可以看到，不僅是EyeWay的注視點區(qū)域圖像在各方面都要優(yōu)于Hololens 2，甚至EyeWay的外圍圖像看起來都更好。請注意，你在Hololens 2圖像中可以看到掃描線，而EyeWay原型的兩個區(qū)域都不可見。
我將在以后的文章中討論EyeWay的圖像質(zhì)量，但我想讓你快速體驗一下。
3. 有趣的演示內(nèi)容
在深入探討技術要點之前，我想首先評論EyeWay的演示內(nèi)容。由于激光的掃描過程，用靜止相機或攝像機無法很好地捕捉到實時飛龍的動畫。即使注視點顯示器目前為固定，你都可以移動顯示器來查看任何選擇區(qū)域的細節(jié)。
遺憾的是，這是你必須親眼感受的演示內(nèi)容之一。
我同時希望指出的是，EyeWay的部分演示內(nèi)容展示了看出窗外的圖像，以證明在需要時顯示器可以非常明亮。
4. 追逐“圣杯”
EyeWay嘗試解決AR中眾多不同但相互關聯(lián)的問題?？梢哉f，他們正在追逐一個能夠同時解決AR大部分已知問題的圣杯。
高分辨率和寬視場（FOV）
非常亮（支持超過10000尼特）以支持室外使用，非常暗（約1尼特）以支持夜間使用
只投射到視網(wǎng)膜而不是眼睛周圍（效率和形象問題）
高度精確地追蹤視網(wǎng)膜而不僅僅是角膜
高效，同時支持大眼球運動
低功耗同時支持高亮度
解決視覺輻輳調(diào)節(jié)沖突（VAC）
小而輕，同時支持以上所有要點
EyeWay目前離目標依然有很長的路要走，但正在用有趣的技術來解決一些重要的問題。團隊使用激光掃描的顯示方法迫使他們解決可能是最困難的問題：即在一個可用的顯示器中實現(xiàn)精確的眼動追蹤。
5. 注視點顯示器背景
簡單地說，不同于相機，人類視覺的工作原理不是用大小/分辨率都相同的像素陣列來拍攝一張快照。
眼睛只有一個非常小的區(qū)域具有高密度的錐體細胞以支持高分辨率和辨別顏色。下面的圖表顯示了視網(wǎng)膜的中心區(qū)域（左），視錐細胞在眼睛中的物理分布（中），以及相對視敏度（右）與中央凹中心的夾角。視力最高的中央凹僅占眼底3度左右。如視力表所示，人類的視力從中央凹的中心急劇下降。
眼睛不斷地以一系列名為“掃視”的跳躍式運動進行移動。人類的視覺系統(tǒng)在掃視之間掩蔽，我們將這一過程稱作掃視掩蔽（Saccadic Masking）（這里是一個關于掃視掩蔽的3分鐘視頻）。然后，人類視覺系統(tǒng)通過在每次掃視時以不同的分辨率將一系列“快照”拼接在一起，從而建立起人們所看到的畫面。這是一個非常復雜的過程，大多數(shù)時候無法察覺。
真正的注視點顯示器具有一個高角度分辨率的“注視點投影儀”，它可以移動/追蹤眼睛的掃視。注視點投影儀總是以中心凹為中心呈現(xiàn)高分辨率圖像，但中心凹非常小。然后它同時具有至少一個“外圍投影儀”，外圍投影儀視場更寬，但角度分辨率較低。如果實現(xiàn)正確，人眼應該能感知到一個單一的、非常高分辨率的顯示畫面。
6. 雙激光束掃描（LBS）直接視網(wǎng)膜投影
EyeWay有兩個LBS投影儀，每個投影儀具有名義相同的SVGA（800×600像素）分辨率。但當它們都投射到視網(wǎng)膜上時，注視點投影儀不僅以高分辨率覆蓋了小小的中心凹區(qū)域，而且它支持可變焦。
7. EyeWay的注視點投影儀不是“麥克斯韋式”，與其他LBS投影儀不同
經(jīng)典的激光束掃描投影儀屬于“無焦點”，不需要光學元件就能看到圖像。不需要光學聚焦的投影儀被稱為“麥克斯韋顯示器”。為了更好地討論麥克斯韋顯示器，我建議你下載《Accommodation-Free Head Mounted Display with Comfortable 3D Perception and an Enlarged Eye-box》這篇研究文章。盡管麥克斯韋顯示器通常與激光束掃描有關，但正如論文指出，其他形式的顯示器同樣可以是麥克斯韋顯示器（見下圖）。
應該注意到，盡管HoloLens 2使用LBS投影儀，但當它通過波導的光瞳擴展時，它就不再是麥克斯韋（包括無焦點）。
麥克斯韋顯示器無焦點，高度準直，如果光束遇到任何障礙，它會投射非常銳利的陰影。
幾乎所有30歲的人都存在“飛蚊癥”（懸浮在玻璃體中的無害物質(zhì)）。除非有人能夠眼睛發(fā)光，否則它們大多不會被注意到。遺憾的是，當麥克斯韋投影儀射入眼睛時，這種漂浮物會變得非常明顯。我在其他直接視網(wǎng)膜激光掃描顯示器看到過這個問題，包括QD Laser的RETISSA、North Focus、以及Bosch在CES 2020大會展示的激光AR眼鏡（見下圖）。
盡管EyeWay的外圍顯示器屬于麥克斯韋，而且當我從中心看向別處時，我可以看到眼睛的漂浮物，但注視點顯示不是麥克斯韋。我在注視點圖像中看不到任何漂浮物。
注視點圖像沒有漂浮物證明EyeWay的方法與其他激光掃描投影儀非常不同。
另外，EyeWay可以控制注視點投射器的視焦點，以緩解視覺輻輳調(diào)節(jié)沖突。
8. 視窗（Eye Box）比瞳孔小
麥克斯韋近眼顯示器的傳統(tǒng)的問題是（特別是視網(wǎng)膜激光掃描），投影圖像要么進入瞳孔，要么完全丟失。所有其他顯示類型都通過生成一個大視窗來避免這個問題，這樣無論眼睛相對于眼鏡移動到哪里，圖像都是可見。
但產(chǎn)生一個大視窗意味著絕大多數(shù)的光都被浪費，因為唯一重要的光是進入瞳孔的光。在社會形象方面，當一個人的眼睛區(qū)域亮著的時候，這不僅僅只是有點奇怪。在軍事應用中，夜間點亮眼睛會暴露士兵的位置，而這一點更為重要。
使用直接視網(wǎng)膜激光掃描的North Focals存在一個問題：每套眼鏡都需要定制，但即使這樣都很難看到圖像。North包括一個4向光瞳復制器，盡管這意味著你有四個方向可以看到圖像，但同時意味著你可以看到殘影和重影。
《Accommodation-Free Head Mounted Display with Comfortable 3D Perception and an Enlarged Eye-box》通過使用一組龐大的分束器來將4向調(diào)到9向。下面的圖片來自相關視頻中的一系列靜止幀，它們顯示了復制圖像與瞳孔對齊的效果。
EyeWay的方法消除了通過追蹤眼睛產(chǎn)生比瞳孔大的視窗的需要，如下面的短片所示：
盡管微軟的HoloLens 2使用激光束掃描，但它不是波導后的麥克斯韋。他們的衍射光柵波導大量復制了輸入光瞳，并創(chuàng)造了一個類似于WaveOptic波導圖的大視窗。
9. EyeWay的雙掃描注視點顯示器
下圖是從包含整個中央凹區(qū)域和外圍區(qū)域的圖像中心部分的裁剪。在這張?zhí)厥獾恼掌?，掃描過程中的消隱滾動條（被相機捕捉到，但人眼看不見）恰好在中央凹區(qū)域的垂直部分被兩個掃描過程捕捉到。消隱可允許你看到顯示對組合圖像的貢獻。
注視點圖像，包括注視點和外圍圖像都明顯的過渡區(qū)域，以大約60像素/度（每像素1弧分）覆蓋大約12度乘6.6度。然后，外圍顯示器水平覆蓋約44度，垂直覆蓋約25度（對角線覆蓋約50度），每度覆蓋約18像素（約3.3弧分/像素）。
與Varjo在AWE 2019展示的AR顯示器相比，EyeWay的注視點圖像大約是其水平和垂直角度大小的1/2。包括過渡混合區(qū)在內(nèi)，Varjo顯示器的注視點部分約為21度（H）x 13度（V）。但Varjo的透視AR屬于“固定注視點”。
Varjo在2017年談到了眼動追蹤注視點顯示器，但最終在2018年推出了一款帶有透視AR的“固定注視點”（不是移動高分辨率中心區(qū)域）顯示器，。EyeWay的方法具有較小的注視點顯示器，并且取決于注視點顯示器追蹤視網(wǎng)膜，以防止用戶注意到注視點區(qū)域到外圍邊界的過渡。
EyeWay要求眼睛跟蹤，這不僅是為了支持注視點顯示器，同時是為了幫助圖像進入眼睛瞳孔。EyeWay別無選擇，只能解決精確的眼動追蹤問題。與Varjo不同，EyeWay不能回到固定注視點顯示器。
10. 視網(wǎng)膜追蹤而不是瞳孔追蹤
將眼動追蹤與激光掃描視網(wǎng)膜投影儀結(jié)合使用的概念至少可以追溯到湯姆·弗內(nèi)斯（Tom Furness）在1995年的的一項專利（已過期）。
EyeWay向我演示了他們的視網(wǎng)膜追蹤，但它是由實驗室儀器顯示，尚未控制注視點投影圖像。
大多數(shù)其他眼動追蹤努力只考慮角膜和虹膜。Facebook的邁克爾·亞伯拉什（Michael Abrash）曾就注視點顯示器的眼動追蹤問題、精度需求、以及角膜和虹膜追蹤問題進行了3分鐘的精彩討論。
Facebook Reality Labs定期在論文和視頻中討論與光瞳控制相關的問題，通過眼動追蹤用一個小視窗投射到視網(wǎng)膜。
Facebook Reality Labs曾多次討論眼動追蹤和注視點顯示器。Facebook Reality Labs的顯示系統(tǒng)研究總監(jiān)道格·蘭曼（Doug Lanman）在SPIE AR/VR/MR 2020大會的一段視頻中討論了與光瞳轉(zhuǎn)向相關的問題，并在2019年的論文中引用了視頻中的參考資料。這里的一個關鍵點是，基于注視點激光掃描的顯示器獲得了Facebook AR Research的大量關注。我應該指出的是，EyeWay自2014年公司成立以來就一直致力于這項技術。
EyeWay指出，他們使用了兩個注視點追蹤鏡，而不是一個，正如2017年Vajro的評論和Avegant所示。EyeWay指出，兩個轉(zhuǎn)向鏡可支持4個自由度，并能更好地追蹤眼睛。
EyeWay的解決方案通過追蹤視網(wǎng)膜來將眼動追蹤提升到一個新的水平，從而實現(xiàn)對注視點顯示器必需的精度。EyeWay的眼動追蹤利用多個階段進行追蹤，而最精確的階段通過移動注視點圖像的相同路徑來追蹤視網(wǎng)膜。
11. 許多公司正在研究注視點顯示器
注視點顯示器的基本概念相當久遠，許多公司曾經(jīng)在VR和AR方面進行過嘗試。僅舉幾個例子，下面是微軟、Avegant、蘋果和Varjo的注視點顯示器概念集。如上所述，F(xiàn)acebook多年來一直在探索注視點顯示器、眼動追蹤和視網(wǎng)膜激光掃描領域。
我沒有時間詳細介紹每種方法，但我想指出的是，所有從事AR的巨頭和一系列初創(chuàng)公司都在考慮是否采用包含或不包含激光掃描的注視點顯示器。
有趣的是，微軟和蘋果都展示了上述的激光掃描方法，并且必須借助半反射鏡或全息鏡反射。Avegant是唯一一家研究基于波導的注視點顯示器，而Varjo則專注于透視AR，所以光學方面要簡單得多。
當Varjo在2017年談到追蹤眼睛的時候，我沒有看到一個注視點顯示器移動。他們提供的設備和我看過的任何演示都采用“固定注視點顯示器”，高分辨率注視點區(qū)域不動。當眼睛中心保持在30度左右，這種固定顯示器在大部分時間內(nèi)都能正常工作。
轉(zhuǎn)載請注明出處。
相關文章
熱門資訊
精彩導讀
關注我們
