Apple Watchが泳ぎを解析する時代へ！ラップ・呼吸・ストロークなど水泳メトリクスを読み解く特許（US12295726B2）

Apple Watchは、日々進化を続け、すでに時計の枠を超えた存在になっています。現在のApple Watchは、心拍数の記録から睡眠トラッキングまで、健康とフィットネスに関する機能を広範にカバーするデバイスですが、今回の特許でさらに水中でのトレーニングにも新たな可能性を開こうとしています。

Appleの特許 US12295726B2 は、Apple Watchのようなウェアラブルデバイスが水泳中の回転動作、ストローク、ターン、呼吸、プールの長さまでも自動的に検出し、ユーザーの泳ぎをデジタルに定量化し解析する革新的な仕組みが提案されています。

この記事では、特許の内容を詳細に解説し、Appleがどのように水泳の測定基準を定義し直そうとしているのかを探っていきます。

（この記事にない図面は、US12295726B2からご参照ください。）

概要
発明のポイント
水泳中の動きを慣性座標系で見る
ターンを検出するフィルタ済みヨーデータ
3Dの腕の動きを2Dの軌跡に変換してストロークを数える
その他の図面
応用可能性／今後の展望
まとめ

概要

特許番号：US 12295726 B2
タイトル：Systems And Methods For Determining Swimming Metrics
発明者：Bharath Narasimha Rao, Craig Mermel, Karthik Jayaraman Raghuram, Hung A. Pham, Adam S. Howell, Rami Y. Hindiyeh, Jams P. Ochs, Vinay R. Majjigi, Alexander Singh Alvarado, Sunny K.Chow, Umamahesh Srinivas, Xing Tan, Ronald K. Huang, Edith Merle Arnold, Robin T. Guers, Gunes Dervisoglu, Adeeti Ullal
出願人：Apple Inc.
出願日：2024/2/12
登録日：2025/5/13
特許の詳細については、US12295726B2を参照してください。

この特許は「ウェアラブルデバイスが、水泳中の腕の動きから泳ぎの内容を推定する特許」です。

水泳中の腕は、単純に上下しているわけではありません。クロールでは水中で引き、空中で戻し、呼吸時には頭と肩の動きが加わります。平泳ぎでは両腕が前後に動き、背泳ぎでは回転方向が変わります。さらに、プールの端ではターンし、途中で休むこともあります。
この複雑な運動を、腕に装着したデバイスの加速度センサーやジャイロスコープから読み取ろうとするのが、本発明の基本的な狙いです。

どのような技術なのか

技術テーマの中心は、モーションセンサーのデータを座標変換して、水泳に意味のあるデータへ変換することです。

ウェアラブルデバイスのセンサーは、基本的にはデバイス自身を基準にした座標系で動きを測定します。しかし、デバイスは泳いでいる最中に激しく回転します。デバイスの画面が上を向いたり、横を向いたり、下を向いたりするため、デバイス基準のデータだけでは「泳者が実際にどちらへ動いたのか」を判断しにくくなります。

そこで本発明では、デバイス基準の座標系、つまり身体固定座標系で得られた回転データを、重力方向などを基準にした慣性座標系へ変換します。
「慣性座標系」とは、外部の基準、たとえば重力方向を基準にして動きを見るための座標系です。これにより、デバイスの向きに引きずられず、デバイスがどちらを向いていても、泳者のターンや腕の回転をより安定して捉えられるようになります。

この特許のポイントは、Apple Watchを「水中の歩数計」ではなく、「泳ぎを理解するセンサー＆コンピュータ」として扱っている点にあります。単に加速度を数えるのではなく、座標変換、フィルタ処理、主成分分析、泳法分類、ターン補正などを組み合わせて、水泳という複雑な運動を解析しています。

この記事で分かること

この記事では、Appleの水泳メトリクス特許が、どのようにして水泳中の腕の動きを読み取るのかを解説します。特に、Fig.7A〜7Dで示される慣性座標系への変換、Fig.13で示されるターン検出、Fig.17で示されるストロークカウントの考え方を中心に見ていきます。また、その他の図面についても、全体像をつかめるように簡単に整理します。

発明のポイント

ウェアラブルデバイスのセンサーが取得しているのは、加速度や⾓速度といった物理量です。このデータからデバイスは水泳の状態を推定しているのです。

本発明では、ウェアラブルデバイスに搭載されたモーションセンサー、たとえばジャイロスコープや加速度センサーから、3次元の動きに関する情報を受け取ります。ジャイロスコープは回転運動を測るセンサーで、加速度センサーは直線的な加速度を測るセンサーです。これらを組み合わせることで、デバイスの向き、回転、重⼒⽅向などを推定します。
しかし、⽔泳中の腕の動きは激しいため、⽣のセンサーデータをそのまま使うだけでは不⼗分です。デバイスが回転すれば、デバイスにとっての上‧下‧横も変わってしまいます。そこで、座標系を変換するという発想が重要になります。

そこで、この特許は、センサーから取得した⾓速度、加速度、周期性、軌跡、⽅向転換といった⽔中の動きを、「ターンした」「息継ぎした」「ストロークした」といった⼈間にとって意味のある⽔泳指標へ変換します。

水泳中の動きを慣性座標系で見る

Fig.7A〜7Dは、本発明の中でも特に重要な図です。ここでは、ウェアラブルデバイス（100）を装着したユーザーが泳いでいる状況において、慣性座標系（700）をどのように設定するかが説明されています。

Fig.7Aでは、ユーザーがウェアラブルデバイス（100）を装着して泳いでいます。ここで重要なのは、z軸、つまりヨー軸がデバイスそのものではなく、重力方向を基準にしている点です。さらに、x軸、つまりロール軸は、泳者がラップを泳ぐ方向にほぼ平行に設定されます。y軸、つまりピッチ軸は、これらに直交する方向です。

Fig.7Bでは、方向（710）が、x軸、y軸、z軸に対してそれぞれ角度（702, 704, 706）を持つものとして表されています。これにより、ウェアラブルデバイス（100）の向きを、単なるデバイス基準ではなく、慣性座標系（700）における方向として扱えるようになります。

Fig.7C と Fig.7D は、同じようなデバイスの向きが、慣性座標系ではどのように異なって表現されるかを示しています。Fig.7Cでは、デバイス（100）が垂直に保持され、方向（450）はクラウン（120）が指す方向を表します。重力方向（440）は、慣性座標系では常に重力を基準にして扱われます。Fig.7Dでは、デバイス（100）が Fig.7C から45度回転していますが、慣性座標系（700）の軸は重力に基づくため、デバイスと一緒には回転しません。

単純な座標変換のようにも思えますが、視点が変わるという点ではこの図の技術的意義は大きいです。従来の単純なセンサー計測では、デバイスが回転するとデータの意味も変わってしまいます。しかし、慣性座標系へ変換すれば、時計の向きに左右されず、泳者の身体運動をより安定して解析できます。つまり、Apple Watchが「自分がどう傾いたか」ではなく、「泳者が空間の中でどう動いたか」を見られるようになるわけです。

ターンを検出するフィルタ済みヨーデータ

Fig.13 は、泳者がターンしたタイミングを検出する仕組みを示す図です。ここで使われるのは、ヨー方向の回転データです。ヨー（yaw）とは、ざっくり言えば水平方向の向きの変化です。プールの端で泳者が反対方向へ向かうとき、身体の進行方向は大きく変わります。その変化をデータとして捉えるのが Fig.13 の狙いです。

この図では、フィルタ処理されたヨーデータが、2つの安定した値の間を行き来しています。特許公報では、たとえば約-50度と130度のような2つの値が示され、それらの差が約180度であることが重要だと説明されています。絶対的な角度そのものよりも、2つの状態がほぼ反対方向を示していることがポイントです。
図中の1302, 1304, 1306, 1308では、データが急激に変化しています。これは、泳者がターンしたタイミングに対応します。たとえば、一定時間内に150度以上の変化があればターンと判断する、といった閾値処理が例示されています。

従来のラップ計測では、ユーザーが手動で操作したり、単純な加速度変化を見たりする方法が考えられます。しかし水泳では、途中で休む、ゴーグルを直す、壁に近づいて減速するなど、ターンに似た動作が多く発生します。Fig.13 のように、慣性座標系に変換したうえでヨーデータをフィルタ処理し、大きな方向変化を検出することで、ターン検出の信頼性を高めようとしている点が本発明の特徴です。

3Dの腕の動きを2Dの軌跡に変換してストロークを数える

Fig.17 は、ストロークカウントの仕組みを視覚的に理解するための重要な図です。水泳中の腕の動きは3次元です。腕は前後、上下、左右に動き、さらに回転します。そのままでは複雑すぎるため、本発明では3次元の回転データを、ストローク数を数えやすい2次元の軌跡へ変換します。

図中の 1702 は、自由形の泳者について取得された3次元の慣性座標系データを示しています。x, y, z の3軸に沿って、時間とともに変化するデータです。1704 は、同じデータを制約付きの空間領域サンプリングとして扱ったものです。ここでいうサンプリングとは、連続的な動きの中から解析に使う点を取り出すことです。
次に、1706 では、3次元データを主成分分析によって2次元へ投影しています。水泳の場合、腕の動きには周期的な回転軌跡が含まれるため、その主要な運動平面を見つけることで、ストロークを円や半円のような軌跡として扱いやすくなります。
さらに 1708 では、加速度エネルギー、モーメントアーム、回転方向などの制約を加えることで、よりきれいな軌道にしています。加速度エネルギーは、腕の動きが十分に強いかどうかを見るための指標です。モーメントアームは、回転運動の大きさや腕の伸びに関わる考え方です。回転方向の制約は、たとえばクロールやバタフライでは時計回り、背泳ぎでは反時計回りといった泳法ごとの特徴を利用するものです。

この図の面白さは、Appleがストロークを単なる「振動の回数」として数えていない点です。腕の回転を軌跡として捉え、その軌跡が何周したか、あるいは何回半円を描いたかを見ることで、ストローク数を推定しています。これは、ノイズの多い水中環境では非常に合理的な考え方です。

応用例として、ストローク数だけでなく、ストロークの乱れ、疲労による軌跡の変化、左右差、泳法ごとの効率評価なども考えられます。将来的には、スマートウォッチが「今日は後半でストロークが小さくなっています」「呼吸時に腕の軌跡が乱れています」といったフィードバックを返す可能性もあります。

主成分分析（PCA：Principal Component Analysis）は、多くの変数を抱える複雑なデータを、情報量をできるだけ落とさずに少数の指標（主成分）に要約する統計手法です。ここでは、データのばらつきが最も大きい方向を見つけ、複雑なデータをより少ない軸で表現しています。

その他の図面

Fig.1：ウェアラブルデバイスの外観
Fig.1 は、ウェアラブルデバイス（100）の例を示す図です。腕時計型またはフィットネスバンド型のデバイスとして、水泳中にユーザーの手首に装着されることが想定されています。

Fig.2：ウェアラブルデバイスの内部構成
Fig.2 は、プロセッサ（210）、メモリ（220）、モーションセンサー（240）、ディスプレイ（270）、インターフェース（280）、心拍センサー（290）などを示します。センサーで取得したデータをプロセッサが処理し、水泳指標を出力する基本構成です。

Fig.3：コンパニオンデバイス
Fig.3 は、スマートフォンなどのコンパニオンデバイス（300）を示します。ウェアラブルデバイス（100）が GPS や高度情報などを補うために、外部デバイスと通信する構成が説明されています。

Fig.4A〜4D：身体固定座標系
Fig.4A〜4D は、デバイス自身を基準にした身体固定座標系 400 を説明する図です。クラウン（120）の方向、バンド（140）の方向、表示面（160）に対する軸が示され、デバイスが回転すると座標系も一緒に回転することが分かります。

Fig.5：身体固定座標系における回転データ
Fig.5は、身体固定座標系で見た重力方向の推定を示します。ピッチやロールの変化は捉えやすい一方、ヨー方向の変化は分かりにくいため、慣性座標系への変換が必要になります。

Fig.6：慣性座標系の基本概念
Fig.6 は、重力方向に基づく慣性座標系（600）を示します。z軸を重力方向に関連づけることで、デバイスの向きに依存しない運動解析の土台を作ります。

Fig.8：慣性座標系でのクラウン方向データ
Fig.8 は、泳者がラップ中に装着しているウェアラブルデバイス（100）のクラウン方向を、慣性座標系で表した図です。データが 802 と 804 の2つのクラスターに分かれ、ターン時に方向が約180度変わることを示します。

Fig.9：水泳中の回転データ
Fig.9 は、泳いでいる間の回転データを慣性座標系で表した図です。クラスター 902 と 904 の切り替わりが、泳者の向きの大きな変化、つまりターンを示す手がかりになります。

Fig.10：重力方向を決定する方法
Fig.10 は、重力方向を推定する処理1000を示すフローチャートです。角速度が閾値以下で比較的静止しているときに、加速度センサー（260）から重力方向を推定します。

Fig.11：コンパニオンデバイスを使った重力方向推定
Fig.11 は、コンパニオンデバイス（300）を使って重力方向を推定する方法 1100 です。スマートフォン側のセンサー情報を組み合わせることで、ウェアラブルデバイス（100）の推定を補助できます。

Fig.12：ターン検出の処理フロー
Fig.12 は、ターンを検出する処理 1200 を示します。センサー情報を受け取り、身体固定座標系の回転データを慣性座標系に変換し、そのデータに基づいてターンを判定します。

Fig.14：呼吸検出の処理フロー
Fig.14 は、泳者の呼吸を検出する処理 1400 です。ピッチ方向の回転データを監視し、腕や手首の角度が閾値を超えるかどうかで呼吸を推定します。

Fig.15：手首角度と呼吸の関係
Fig.15 は、自由形における手首角度の変化を示します。1516 から 1518 付近で手首角度が上がる動きが、鼻や口が水面上に出る呼吸動作と関連づけられています。

Fig.16：ストロークカウント処理
Fig.16 は、ストロークを数える方法1600のフローチャートです。3次元モーション情報を取得し、慣性座標系へ変換し、2次元投影と制約付けを行ってストローク数を数えます。

Fig.18：回転方向の制約
Fig.18 は、ストロークカウント時に使う制約の例です。背泳ぎの反時計回り運動に対して、途中で発生する逆方向のドリフトを除外する考え方が示されています。

Fig.19：ストローク数の例
Fig.19 は、円や半円の軌跡からストローク数を数える例です。1902は3つの完全な円、1904は3つの半円、1906は方向変化を伴う半円状のストロークを示します。

Fig.20：検出ターン数と真のラップ数の比較
Fig.20 は、188回の水泳セッションにおける検出ターン数と真のラップ数の関係を示します。点線2040は両者が一致する理想線で、上側は過検出、下側は未検出を示します。

Fig.21：真のストローク数分布
Fig.21 は、25ヤードプールにおける半分のストローク数の確率分布です。真のラップに対して、どの程度のストローク数が一般的かを示します。

Fig.22：検出されたストローク数分布
Fig.22 は、検出ターンを基準にしたストローク数分布です。2210 のように5ストローク未満の区間が見られる場合、実際のラップではなく誤検出ターンである可能性があります。

Fig.23：ラップ数決定処理
Fig.23 は、ラップ数を決める処理2300です。ターン、ストローク、泳法を検出し、不自然なターンを除外しながら、最終的なラップ数を求めます。

Fig.24：1ラップあたりのストローク範囲決定
Fig.24 は、ストローク範囲を決める処理2400です。現在の水泳セッションまたは過去の水泳履歴においてストローク数が収束しているかを見て、妥当な範囲を設定します。

Fig.25：ラップカウントの補正処理
Fig.25 は、ラップ数を補正する処理2500です。検出されたターンを受け入れるか、欠落したターンを挿入するか、ストローク数の分散が小さくなるように調整します。

Fig.26：ラップカウント誤差の分布
Fig.26 は、本発明の手法によるラップカウント誤差の確率分布を示します。平均誤差が小さく、ラップ数推定の精度が高いことを示すための図です。

Fig.27：真のラップ数と誤差の関係
Fig.27 は、真のラップ数が増えても誤差が大きく拡大しないことを示します。長いセッションでも推定誤差が抑えられる点が特徴です。

Fig.28：水泳活動検出の構成要素
Fig.28 は、水泳活動を検出するための構成を示します。センサー融合モジュール2820、速度推定モジュール2830、信号融合モジュール2845などが連携し、水泳検出出力2850を生成します。

Fig.29：水泳活動検出のフロー
Fig.29 は、水泳しているかどうかを判断する方法2900です。ストロークレートが規則的か、泳法分類の信頼度が高いか、動作シグネチャが水泳を示すかを判断します。

Fig.30：水泳と歩行を区別する情報
Fig.30 は、クラウン方向の時間変化を示すグラフ3000です。区間3010では水泳時のように方向が大きく変動し、区間3020では歩行時のようにクラウンが下向きに安定する様子が示されています。

Fig.31：プール長の推定に関するユーザー回答
Fig.31 は、48人のユーザーが25ヤードプールの長さを推定した結果を示します。正しく推定できた人は17人で、ユーザーの自己申告だけではプール長が不正確になり得ることを示しています。

Fig.32A、Fig.32B：プール長を決定する方法
Fig.32AとFig.32B は、プール長を決定する処理3200を示します。ユーザーが標準長、カスタム長、校正を選択し、校正時にはプールサイドを歩くことで距離を推定します。

Fig.33：位置履歴を使ったプール長推定
Fig.33 は、過去の位置情報や他ユーザーの履歴を使ってプール長を推定する処理3300です。十分な履歴があれば、候補となるプール長をユーザーに提示します。

応用可能性／今後の展望

この特許技術は、Apple Watchの水泳ワークアウト機能をさらに高精度にするための基盤技術と考えられます。現在のスマートウォッチでも、泳いだ距離やラップ数、泳法の推定は可能ですが、本発明のようにターン、呼吸、ストローク、プール長、休憩状態まで含めて統合的に扱うと、単なる記録から「泳ぎの理解」へ近づきます。

特に面白いのは、泳法ごとの違いを考慮している点です。自由形、背泳ぎ、平泳ぎ、バタフライなど泳法の違いを認識できるので、初心者には「呼吸のタイミングが一定していません」、中級者には「後半のストローク数が増えています」、上級者には「ターン前後で速度低下が大きいです」といった個人に合わせた水泳のアドバイスが可能になります。

水泳は、GPSが効きにくく、画面操作もしにくく、センサーノイズも多い難しい環境です。その水中で高精度な解析ができるなら、陸上スポーツや日常動作の理解はさらに広がるはずです。