部屋の暗がりにいた人が、突然、日差しの差し込む窓へ顔を向けたらどうなるでしょうか。
人間の目は比較的自然に明るさへ適応しますが、カメラは設定を変更するまでにわずかな時間を必要とします。
その遅れが、ヘッドセットでは、一瞬の白飛びや映像のちらつきとして、利用者の目の前に現れます。
今回のAppleの特許は、利用者が明るい窓を見る前に「次にどこを見るのか」を予測し、カメラを先回りして調整するものです。
主役となるのは、広角カメラ、頭部の動きを検出するセンサ、そして部屋の光を記録したライティングマップです。
この記事では、ヘッドセットが周囲の光を記憶し、予測する仕組みを、Apple特許の図面を基に詳しく解説します。
（この記事にない図面は、US12684244B2 からご参照ください。）
特許の概要
特許番号：US 12684244 B2
タイトル：Head-mounted Device With Spatially Aware Camera Adjustmen
発明者：Luke A. Pillans、Simon Fortin-Deschenes、Christian I. Moore
出願人：Apple Inc.
出願日：2023/8/24
登録日：2026/7/14
特許の詳細については、US12684244B2 を参照してください。
この特許は、ヘッドマウントデバイスの前方撮影用カメラが撮影する映像を、利用者の頭の動きと周囲の光環境に応じて事前に調整する技術です。対象となるのは、前方の景色をカメラで撮影し、その映像をディスプレイに表示する「ビデオパススルー型」のヘッドセットです。
ビデオパススルーとは、透明なレンズ越しに現実を見るのではなく、外部カメラが撮影した映像をヘッドセット内のディスプレイに表示する方式です。この方式では、カメラの映像品質がそのまま利用者の視界の品質になります。
一般的なカメラの自動露出は、現在撮影している画像が暗いか明るいかを解析してから、露出時間やセンサゲインを変更します。しかし、ヘッドセットは利用者の頭と一緒に素早く動きます。暗い机から明るい窓へ振り向いた場合、カメラが窓を撮影し始めてから露出を下げるのでは、短時間とはいえ白飛びが発生する可能性があります。
そこで、この調整を「撮影後」ではなく「撮影前」に行います。
広い範囲を撮影する補助カメラで主カメラの視野外を確認し、慣性計測ユニットなどで頭部の動きを検出します。そして、利用者が次に向く方向を予測し、その方向の明るさや光源の種類に合わせて、主カメラの露出、ホワイトバランス、トーンマッピングなどを先に変更します。
この記事では、主カメラと補助カメラの画角の違い、周囲の光を記録するライティングマップ、頭部方向の予測、フリッカー対策などの技術から、将来の視野を予測するカメラ制御について解説します。
主カメラより広い範囲を見る補助カメラ
Fig. 3は、ヘッドマウントデバイス（10）を側面から見た図です。デバイスの前方には、パススルー映像を撮影する主カメラ（50）と、より広い画角を持つ補助カメラ（52）が配置されています。さらに、下方を撮影するカメラ（54）も設けられています。
主カメラ（50）の画角は（A1）で示されています。一方、前方の補助カメラ（52）の画角（A2）は（A1）より広く、下向きカメラ（54）の画角（A3）も広い範囲をカバーします。
つまり、補助カメラは単に主カメラと別の方向を撮影しているわけではなく、移動する方向の画像を含めた広い範囲を観察しています。
例えば、利用者が暗い机から右側の明るい窓へ頭を回し始めたとします。窓はまだ主カメラ（50）の画角（A1）に入っていなくても、画角の広い補助カメラ（52）にはすでに入っている可能性があります。
したがって、補助カメラ（52）の画像を調べれば、主カメラ（50）が次に撮影する領域の明るさを先に把握できます。主カメラが明るい窓を正面から捉える前に露出を下げておけば、画面全体が真っ白になる時間を短縮できます。
下向きカメラ（54）は、利用者の手や胴体、コントローラなどを追跡するために使われますが、その広い視野から光環境の情報を取得することも可能です。つまり、本来は位置追跡や身体追跡のために搭載されているカメラを、明るさの先読みにも利用できます。
ディスプレイ（14）とレンズ（38）は光学モジュール（36）に配置され、撮影されたパススルー映像を利用者の眼の位置であるアイボックス（34）へ提示します。
この図が示す発明の第1のポイントは、主カメラの外側を補助カメラで見ることにより、将来の視野に入る光を先に検出することです。
（正確な図面は、US12684244B2 をご参照ください。）
頭部予測、ライティングマップ、画像処理をつなぐ全体構成
Fig. 5は、本特許のシステムのブロック図です。カメラ、頭部追跡、環境モデル、画像処理がどのように連携するかがまとめられています。
まず、主となる画像センサ（50）が現実空間を撮影します。撮影された画像は、画像統計収集ブロック（90）へ送られます。画像統計とは、画像の明るさ、色、ヒストグラム、黒レベル、シャープネス、フリッカーなど、カメラ設定を決めるための情報です。
画像や統計情報は、環境モデリングブロック（92）にも送られます。このブロックでは、主に二つのマップが作られます。
一つは「ライティングマップ」です。これは、現実空間のどこに光源があるか、各方向がどの程度明るいか、光の色や色温度がどうなっているかといった情報を、空間的位置と関連付けたデータです。
もう一つは「ジオメトリマップ」です。こちらは、壁、机、窓、家具などの位置や形状を示す三次元の幾何学情報です。
ライティングマップとジオメトリマップを組み合わせれば、単に「右側が明るい」というだけでなく、「右側の壁にある窓から強い日光が入っている」といった、より具体的な環境認識が可能になります。
周囲の明るさを測定する環境光センサ（96）も、環境モデリングブロック（92）へ情報を提供します。カメラは非常に明るい場所では画素が飽和し、正確な明るさを測れない場合があります。環境光センサ（96）は、カメラとは異なる測定範囲や分光特性を持つため、強い光の測定を補助できます。
一方、VIOセンサ（60）は、デバイスの位置と姿勢を求めます。VIOは「Visual Inertial Odometry」の略で、カメラ画像と慣性センサの情報を組み合わせて、機器がどの方向へどれだけ動いたかを推定する技術です。
VIOセンサ（60）には、慣性計測ユニットであるIMU（62）と、追跡カメラ（52）、（54）、（56）などが含まれます。IMUは、加速度センサやジャイロスコープを用いて、頭部の回転や移動を高速に検出します。
現在の頭部姿勢と過去の動きを分析すれば、利用者が数十ミリ秒後にどちらを向くかを予測できます。特許では、主カメラ（50）が約10～50ミリ秒後に向く方向を予測する例が示されています。
予測された方向とライティングマップの情報は、画像調整ブロック（98）へ送られます。画像調整ブロック（98）は、画像信号プロセッサであるISP（70）へ画像調整信号を出力します。
ISP（70）には、自動露出ブロック（72）、色補正ブロック（74）、トーンカーブマッピングブロック（76）、ローカルトーンマッピングブロック（77）、ガンマ補正ブロック（78）、シェーディング補正ブロック（80）、ノイズ低減ブロック（82）、黒レベル調整ブロック（84）、デモザイクブロック（86）などが含まれます。
「デモザイク」とは、イメージセンサの各画素で取得した色成分から、各位置の完全なカラー画像を再構成する処理です。また、トーンマッピングは、非常に明るい部分から暗い部分までを、ディスプレイに表示可能な明るさへ変換する処理です。
例えば、暗い室内から日差しの強い窓へ向こうとしていることが分かれば、自動露出ブロック（72）は、主カメラ（50）の露出時間を短くしたり、ゲインを下げたりします。
白熱灯で照らされた場所から昼光で照らされた場所へ向く場合には、色補正ブロック（74）がホワイトバランスを事前に変更します。明暗差が大きい場所では、トーンカーブマッピングブロック（76）やローカルトーンマッピングブロック（77）も調整できます。
さらに、フリッカーセンサ（102）とフリッカー補償ブロック（104）が設けられています。LED照明や蛍光灯は、人間の目には連続して点灯しているように見えても、一定の周期で明滅していることがあります。
フリッカー周期とカメラの露出時間が合わないと、映像に明暗の帯やちらつきが現れます。そこで、露出時間を検出されたフリッカー周期の整数倍に設定し、映像への影響を抑えます。
複数のフリッカー光源が存在する場合には、より光強度の高い光源の周期を優先して補正する構成も示されています。
このように、単なる自動露出装置ではなく、空間の光を記録する機能、利用者の頭部方向を予測する機能、複数の画像処理機能を一つの制御ループへ統合したシステムとなっています。
（正確な図面は、US12684244B2 をご参照ください。）
過去に作成したライティングマップで先回りする方式
Fig. 6は、継続的に蓄積された環境モデルを利用する処理の流れを示しています。
ステップ 110 で、現実空間の継続的な環境モデルを取得します。カメラや距離センサなどを用いて、壁、家具、窓などの位置や形状を表すジオメトリマップを構築します。
ステップ 112 で、継続的なライティングモデルを取得します。利用者が部屋の中を見回すたびに、各方向の明るさ、色、反射、光源の位置などが記録され、ライティングマップが更新されます。
特許には、部屋ごとに異なるライティングマップを保存するだけでなく、同じ部屋について朝、昼、夜など時間帯別のマップを保持する例も説明されています。例えば、同じオフィスでも、朝は東側の窓が明るく、夕方は西側の窓が明るくなります。時間帯別のライティングマップを用いれば、その変化を踏まえたカメラ制御が可能になります。
ステップ 114 で、将来のフレームを撮影する際にデバイスが向く方向を予測します。現在の頭部姿勢だけでなく、過去から現在までの回転速度や移動方向を使って、次の視線方向を推定します。
ステップ 116 では、予測された方向とライティングモデルに基づいて、主パススルー画像センサの設定を変更します。暗い場所から明るい場所へ向かう場合には露出を下げ、異なる色温度の照明へ向かう場合にはホワイトバランスを切り替えます。
ステップ 118 では、必要に応じてフリッカーセンサの出力に基づく補正を行います。
この方式の特徴は、過去に取得した環境情報を「記憶」として利用することです。すでに把握している部屋であれば、補助カメラが窓を捉える前でも、頭部方向とライティングマップから、そこに明るい窓があることを予測できます。
つまり、ヘッドセットは毎回ゼロから明るさを判断するのではなく、一度見た空間の光を覚え、次の視線移動に利用するのです。
（正確な図面は、US12684244B2 をご参照ください。）
補助カメラのライブ映像で先回りする方式
Fig. 7は、過去のライティングマップだけでなく、補助カメラが現在取得しているライブ画像を利用する方式です。
ステップ 120 では、補助画像センサを用いて現実空間の光情報を収集します。補助カメラ（52, 54, 56）は主カメラ（50）より広い画角を持つため、主カメラの視野外にある明るい窓や照明を先に撮影できます。
ステップ 122 では、主パススルー画像センサが次に向く方向を予測します。
ステップ 124 では、その予測方向と、補助カメラからリアルタイムに取得した光情報に基づいて、主カメラの設定を変更します。
例えば、補助カメラの画像の右端に強い光源があり、頭部が右方向へ回転している場合、システムは「まもなく主カメラの画角へ強い光源が入る」と判断できます。
この判断に基づいて、露出、ゲイン、ホワイトバランス、トーンマッピングなどを先に変更します。
最後に、ステップ 126 でフリッカー補正を必要に応じて実施します。
（正確な図面は、US12684244B2 をご参照ください。）
その他の図面
（図面は US12684244B2 をご参照ください。）
Fig. 1 ヘッドマウントデバイスの基本構造
ヘッドマウントデバイス（10）の側面構造を示します。支持構造（26）、ストラップ（26B）、主筐体部（26M）、ディスプレイ（14）、レンズ（38）、光学モジュール（36）、アイボックス（34）などの配置が示されています。
Fig. 2 電子デバイスの基本的な機能構成
電子デバイス（10）に、制御回路（12）、センサ（16）、ディスプレイ（14）を含む入出力デバイス（22）、その他の機器（24）、支持構造（26）が搭載される構成を示した概略ブロック図です。
Fig. 4 左右方向を含むカメラ配置と画角
デバイス（10）を上方から見た図であり、左右の主カメラ（50）、前方の追跡カメラ（52）、側方カメラ（56）の配置と、それぞれの画角（A1, A2, A4）を示しています。
考察
この技術は、ヘッドセット映像の白飛びを減らすという目的の他への応用が考えられます。視線方向の移動に応じて画像処理を準備できるのであれば、ヘッドセット全体の処理資源を先回りして配分することも可能になるからです。
例えば、利用者が向こうとしている方向だけを高精細に処理し、それ以外の領域の処理負荷を下げれば、消費電力や発熱を抑えられる可能性があります。
視線追跡と組み合わせれば、注視する可能性の高い範囲について、HDR処理やノイズ低減を事前に強化することも考えられます。
遠隔操作ロボットやドローンへの応用も考えられます。操作者の頭部やカメラ雲台が移動する方向を予測し、その方向の光環境を別の広角カメラで先に確認できれば、遠隔映像の白飛びや黒つぶれを減らせます。
自動車でも、狭い画角の高精細カメラと広角カメラを組み合わせ、車両の進行方向や旋回方向を予測してカメラ設定を変更する考え方は応用可能です。トンネル出口へ近づいたときに露出を先に下げる、夜間に対向車のヘッドライトが画角へ入る前にHDR処理を切り替える、といった使い方です。
一方で、予測が外れた場合の制御も重要です。利用者が右を向きかけて急に左へ戻れば、先行して変更した露出や色設定がかえって不自然になる可能性があります。そのため、実際の製品では、予測の確信度に応じて調整量を変える、急激に設定を切り替えず徐々に変化させる、現在の画像に基づく通常の自動制御を併用するといった工夫が必要になるでしょう。
この特許は、カメラを単独の撮影装置としてではなく、空間認識システムの一部として扱っている点から様々な応用の可能性があると考えられます。
（上記は筆者の個人的な意見です。）
まとめ
- Appleの特許は、利用者が次に向く方向を予測し、パススルーカメラの設定を事前に変更する技術です。撮影画像に反応して画像調整を行う従来型の制御から、将来の視野を予測する制御への移行です。
- 広角の補助カメラにより、主カメラの視野外にある明るい窓や光源を先に検出します。
- ライティングマップと頭部姿勢の予測を利用し、露出、ホワイトバランス、トーンマッピング、フリッカー補正などを制御します。
最後までお読みいただきありがとうございました。
※企業の特許は、製品になるものも、ならないものも、どちらも出願されます。今回紹介した特許が製品になるかどうか現時点では不明です。ご注意ください。
