Apple の3D深度マッピング特許 ―― 温度でズレる距離誤差をどう補正するのか？（US12634428B2）

スマートフォンの顔認証やAR機能では、True Depthカメラによって顔の3Dデータを取得しています。しかし、カメラといっても「写真」を撮っているわけではありません。
目に見えにくい波長のパターンを投影し、そのズレから物体までの距離を読み取る、高度な3Dセンシング技術が使われています。
しかし、ここで意外な問題があります。
それは、温度変化に弱いということです。
発光素子や光学部品は、温度が変わるとわずかに振る舞いが変わります。そのわずかな変化が、投影パターンの位置ズレとなり、深度マップの誤差につながります。

今回紹介するAppleの特許 US12634428B2 は、この温度によるズレを、複数の参照画像を使って補正する技術です。
一見地味ですが、3D深度マッピングの精度と安定性を支える、実用的な発明です。

発明の概要
他の図面の説明
従来技術との違い
まとめ

発明の概要

特許番号：US12634428B2
タイトル：Thermal Reference Correction
発明者：Nir Goldfriend, Yuval Vardi, David Pawlowski, Roey Zuitlin, Gidi Lasovski, Boris Morgenstein
出願人：Apple Inc.
出願日：2023/10/3
公開日：2026/5/19
特許の詳細については US12634428B2 を参照してください。

この特許は、構造化光を用いた深度マッピングに関する技術です。
構造化光とは、スポットや格子のような既知の光パターンを対象物に投影し、その見え方の変化から奥行きを計算する技術です。たとえば、格子点パターンを平面に投影すれば整ったパターンになりますが、顔や手、家具のような立体物に投影すると、パターンの位置が局所的にズレます。このズレを解析することで、対象物の3D形状を推定できます。

従来の構造化光方式では、ある既知の距離で撮影した基準パターン、つまり参照画像と、実際のシーンで撮影したパターンを比較して深度を求めます。しかし、プロジェクター内の発光素子の波長や、MOE と呼ばれるメタサーフェス光学素子の光学特性は、温度によって変化します。その結果、参照画像を撮影した時と、実際に深度を測定する時の温度が違うと、「物体の奥行きによるパターンのズレ」と「温度によるパターンのズレ」が混ざってしまいます。

この特許は、プロジェクターの温度変化によって投影パターンがズレる問題に対し、基準となるスポットパターンを温度ごとに補正して使うことによって、3Dセンシング装置が温度変化に影響されにくくする技術です。特に、顔認証、AR、空間認識、深度センサなどを安定して動作させるうえで重要になる技術です。

以下、どのようにスポットパターンを投影し、温度によるズレをどのようにモデル化し、どのように深度マップの誤差を抑えようとしているのかを、図面を見ながら分かりやすく解説します。

参照画像を作るための基本構成

Fig.1 は、温度補正用の参照画像を取得する深度マッピング装置（100）を表しています。深度マッピング装置（100）は、プロジェクタ（102）、カメラ（104）、熱センサ（106）、プロセッサ（108）、メモリ（110）を備えています。

プロジェクタ（102）の中には、二次元のエミッタアレイ（発光体アレイ、112）があります。エミッタアレイ（112）には複数のエミッタ（114）が含まれ、たとえば VCSEL のような発光素子が想定されています。VCSEL は、スマートフォンの3Dセンシングや顔認証でよく登場する小型レーザーの一種です。
プロジェクタ（102）にはさらに、MOE（116）が設けられています。MOEは、メタサーフェス光学素子を含む光学部品で、基板（120）上にメタサーフェス（118）が形成されています。このMOE（116）が、エミッタ（114）から出た光を回折させ、複数のスポットパターンとして投影します。

Fig.1 では、装置（100）が平坦なスクリーン（130）に向けられています。このスクリーン（130）は、既知の距離 DREF に配置された参照平面です。エミッタ（114a, 114b）から出たビーム（132a, 132b）は、MOE（116）によって回折されます。たとえば、0次回折光として 133a、133b が示され、+1次回折光として 134a、134b が示されています。これらの光によって、スクリーン（130）上にスポット（135, 136）が形成されます。

カメラ（104）は、撮像光学系（122）と画素化されたイメージセンサ（124）を備えています。カメラ（104）は、スクリーン（130）上のスポットを、光線（138）として受け取り、画像として取得します。プロセッサ（108）は、この画像を参照画像として取得し、同時に熱センサ（106）からプロジェクタ（102）の温度 T1 を受け取ります。
プロセッサ（108）は、温度T1 で撮影した第1参照画像をもとに、光学モデルと熱モデルを使って、別の温度に対応する複数の参照画像を計算します。そして、それらをメモリ（110）に保存します。
従来であれば、温度ごとに実際に参照画像を撮影して保存する方法も考えられます。しかし、この特許では、1回実測した参照画像とモデル計算を組み合わせることで、複数温度に対応した参照画像を作る点が特徴です。

（正確な図面は、US12634428B2 をご参照ください。）

実際の深度測定を行う構成

Fig.2 は、実際に深度測定を行う深度マッピング装置（100）を表しています。深度マッピング装置（100）は、実際のシーン（200）に向けられた状態を示しています。
Fig.1 が準備段階、Fig.2 が本番の深度測定という位置付けです。

Fig.2 も同様に、プロジェクタ（102）、カメラ（104）、熱センサ（106）、プロセッサ（108）、メモリ（110）という構成です。エミッタ（114）から出た光は MOE（116）で回折され、シーン（200）上にスポット（202, 204）を形成します。カメラ（104）は、これらのスポットを光線（206）として撮像します。

ここで、シーン（200）は Fig.1 のスクリーン（130）と異なり、平坦とは限りません。顔、手、机上の物体、部屋の壁など、実際の対象は複雑な奥行きを持っています。そのため、スポット（202, 204）の位置は、参照平面に投影された時とは異なります。
プロセッサ（108）は、カメラ（104）が取得した画像 I と、メモリ（110）に保存されている参照画像とを比較します。参照画像は測定時の温度に対応したものを使う必要があるので、熱センサ（106）が、プロジェクタ（102）の現在温度T を測定します。そしてプロセッサ（108）は、メモリ（110）に保存された複数の参照画像 I1〜IN の中から、現在温度T に最も近い温度に対応する参照画像 Ii を選びます。
これにより、プロセッサ（108）は、温度によるスポット位置のズレをあらかじめ補正した参照画像を使えますので、撮像画像I と参照画像Ii とのズレは、温度変化ではなく、主にシーン（200）の奥行きに由来するものとして扱いやすくなります。

（正確な図面は、US12634428B2 をご参照ください。）

基準となるスポットパターン

Fig.6A と Fig.6B は、公称波長 λ0 におけるスポットパターンの2つのビューを示しています。Fig.6A は、画像センサの画素空間で見たスポットパターン（600）です。Fig.6B は、NA空間で見たスポットパターン（602）です。

Fig.6A では、複数のタイル（604）が示されています。ここでいうタイルとは、MOE（116）によって回折された光が形成するスポット群のまとまりです。構造化光方式では多数の点を空間に分布させます。この多数の点が、対象物の表面でどのようにズレるかを見ることで、奥行きが分かります。

一方、Fig.6B では、NA空間上のタイル（606）が示されています。NA空間とは、方向余弦（α, β）を座標軸として扱う空間です。少し専門的ですが、簡単に言えば、回折光の進む方向（角度）を、歪のない格子状に整理して表現するための仮想的な空間です。私たちが普段見ている実空間（スクリーンに投影された画面など）では、角度が大きくなるほど、外側のスポット（光の点）の間隔が引き伸ばされて歪んでしまいます。しかし、光の方向余弦 α, β をそのまま座標値としてプロットすると、「角度の広がり」がそのまま等間隔なデータとして扱えるようになります。これにより回折方程式が線形になるため、1次、2次、3次……と回折次数が上がっても、それぞれのスポットパターンが収まる領域（タイル(604)）が、すべて同じサイズできれいに隣り合う矩形として等間隔に並びます。結果的に、NA空間で扱うことにより計算が圧倒的に簡単になります。

（詳細な内容と正確な図面は、US12634428B2 をご参照ください。）

補正前後の違い

Fig.10A と Fig.10B は、熱補正の効果を示す図です。Fig.10A は、熱補正をしていない参照画像を使った場合の局所的なズレを示しています。Fig.10B は、熱補正された参照画像を使った場合の結果を示しています。
Fig.10A では、平坦なシーンを測定しているにもかかわらず、グレースケール上に縞模様（1000）が見えます。これは、本来なら平坦であるはずの対象に対して、温度差によってスポットパターンのズレが発生し、それが深度誤差として現れていることを意味します。
Fig.10A は、元の参照画像は温度 T1 = 28.2℃ で取得され、実際の画像は T = 39.9℃ で取得されています。温度が10℃以上変わると、発光波長やMOE（116）の有効焦点距離が変化し、スポットの位置関係も変わってしまいます。その結果、参照画像と実画像の比較に誤差が入ります。

一方、Fig.10B では、温度 Ti = 40.2℃ に対応するように計算した参照画像を使っています。その結果、Fig.10A で見えていた縞模様は消えています。これは、温度によるズレが適切に補正されたことを示しています。

スマートフォンは、充電中、ゲーム中、屋外使用中などで内部温度が大きく変わります。温度によって3D深度センサの精度が落ちると、顔認証の安定性やARオブジェクトの位置合わせに影響する可能性があります。この特許は、そうした実使用環境での安定性を高める技術です。

（正確な図面は、US12634428B2 をご参照ください。）

他の図面の説明

（図面は、US12634428B2 をご参照ください。）

Fig.3：スポットパターンを扱うための座標系
Fig.3は、スポットパターンを表現するための2つ座標系を示しています。ビーム（300）が原点O から出て、参照平面（302）上の点A に到達する様子が描かれています。この図は、デカルト座標（X, Y, Z）と、角度a, b, c の余弦である方向余弦（α, β, γ）との関係を示しています。

Fig.4：画像センサ上のスポットパターン
Fig.4は、画素化イメージセンサ（124）が捉えるスポットパターン（400）を示しています。スポット（402）が複数のタイル（404）に分かれて配置されています。0次光によるスポット402a はタイル404a に、+1次光によるスポット402b はタイル404b に含まれます。通常の画像空間では、タイルが非長方形に歪む点が特徴です。

Fig.5：NA空間で見たスポットパターン
Fig.5は、スポットパターン（500）をNA空間で示した図です。スポット（502）とタイル（504）が、方向余弦α、βの座標上で整理されています。画像センサ上では歪んでいたタイルが、NA空間では長方形で均等に扱いやすくなる点が重要です。

Fig.7A・Fig.7B：公称波長の変化によるタイル中心の移動
Fig.7A と Fig.7B は、波長λ0 が回折角に及ぼす影響を示しています。波長λ0 が増加したときに、スポットパターン（700, 702）のタイル（704, 706）は、スポットパターン（600, 602）のタイル（604, 606）と比較して、タイル（704, 706）の中心間の距離が増加しています。

Fig.8A・Fig.8B：実効焦点距離の変化によるタイルサイズの変化
Fig.8A と Fig.8B は、波長λ0 がMOE（116）の実効焦点距離（f）に及ぼす影響を示しています。実効焦点距離 f が増加したときに、スポットパターン（800, 802）のタイル（804, 806）は、スポットパターン（600, 602）のタイル（604, 606）と比較して、タイル（804, 806）のサイズが減少しています。

Fig.9A・Fig.9B：チルト角変化によるパターン全体のシフト
Fig.9AとFig.9Bは、波長λ0 の変化が 0次光のチルト角 α0 に影響を及ぼして、スポットパターン（900, 902）がシフトする様子を示しています。
Fig.9Aでは、チルト角の変化の影響は、公称波長λ0 におけるスポットパターンの左端（904）から、波長λ における左端（906）へのシフト ΔX として示され、Fig.9Bでは、チルト角の変化の影響は、原点（910）からのスポットパターン（900）の中心（908）のシフト Δα として示されています。

Fig.11：熱補正参照パターンを生成・使用する処理フロー
Fig.11は、熱補正された参照パターンを生成し、深度マッピングに使う方法を示すフローチャート（1200）です。参照画像を取得するステップ（1204）、スポット位置を求めるステップ（1206）、スポットを識別するステップ（1208）、参照画像を計算するステップ（1212）、保存するステップ（1214）、実測画像を取得するステップ（1218）、温度を測るステップ（1220）、参照画像を選ぶステップ（1222）、深度を計算するステップ（1224）などが示されています。

従来技術との違い

従来技術との大きな違いは、温度変化を単なる誤差要因として放置するのではなく、測定して補正に使う点です。しかも、その補正は単純な画像シフトではなく、エミッタの波長、MOEの有効焦点距離、チルト角、スポットタイルの配置といった光学的な変化をモデル化し、参照画像そのものを温度に合わせて変えるところに特徴があります。