contents 1
AI & Cloud Service Technology Report02 Sports Entertainment スポーツ観戦体験に、 ソニーのAI・クラウド技術。
Outline
ソニーのグループ会社であるホークアイ（Hawk-Eye Innovations）が手掛ける、スポーツ向けのソリューション。ビデオリプレイ、トラッキング、データ取得の3つの基幹技術を用いたプレーの可視化により、審判判定支援やファンエンゲージメントの向上に貢献しています。25以上の競技、90カ国以上500を超える会場に導入され、年間2万試合以上で使われています。
Project Members
ソニー株式会社
イメージング事業
AI・機械学習スペシャリスト
北沢
エンドユーザへの見せ方の検討を
含めた、データ分析や可視化技術の開発を担当。
ソニー株式会社
イメージング事業
AI・機械学習スペシャリスト
稲生
AIエンジニアとして、スポーツエンタテインメントの核となるトラッキングの技術開発を担当。
ソニー株式会社
イメージング事業
クラウドサービスエンジニア
大堀
スポーツデータを活用した
サービスのシステム開発を担当。
※ 所属・仕事内容は取材当時のものです。
リアルタイムキャプチャーとAI分析で
スポーツを裏側から支える
ソニーがスポーツエンタテインメントに
参入することになった経緯を教えてください。
参入することになった経緯を教えてください。
北沢：ソニーグループが掲げる“クリエイティビティとテクノロジーの力で、世界を感動で満たす”というパーパスにおいて、スポーツも人の心を動かすエンタテインメントの一つとして捉えています。「人の心を動かす」事業は、ソニーの屋台骨です。その柱となっているゲーム、音楽、映画に続く“第四の柱”として、スポーツに注目して取り組んできました。
そうした取り組みを支えるのが、ソニーが2011年に買収したホーク・アイ・イノベーションズの画像認識技術です。これは多視点の4K映像をリアルタイムにキャプチャーし、AIを用いた分析で瞬時にデータ化、3DCG化する技術で、審判判定補助のほか、試合の中継映像の配信などに活用されています。ソニーは元々、放送関連の技術の知見を持っていたのですが、そこにホークアイ独自の画像認識技術を掛け合わせることでより大きな強みにしていけると考えました。その可能性をさらに広げていくための要素として期待をされているのが、ソニーのAI技術とクラウド技術です。
そうした取り組みを支えるのが、ソニーが2011年に買収したホーク・アイ・イノベーションズの画像認識技術です。これは多視点の4K映像をリアルタイムにキャプチャーし、AIを用いた分析で瞬時にデータ化、3DCG化する技術で、審判判定補助のほか、試合の中継映像の配信などに活用されています。ソニーは元々、放送関連の技術の知見を持っていたのですが、そこにホークアイ独自の画像認識技術を掛け合わせることでより大きな強みにしていけると考えました。その可能性をさらに広げていくための要素として期待をされているのが、ソニーのAI技術とクラウド技術です。
稲生：ホークアイの骨格トラッキングシステムである「SkeleTRACK」では、スタジアムを取り囲むように設置された複数台の4Kカメラで撮影した映像から、選手やボールの動きをリアルタイムに認識し、データ化、CG化する独自のAI技術が活用されています。まず各カメラから選手の29個の関節ポイントやボールの映像上での位置を認識し、一般的にカメラキャリブレーションと呼ばれる作業で得られるカメラの位置姿勢、焦点距離等の情報を組み合わせることによってそれらの３次元位置を計算しています。これにより、選手自身がセンサーを装着しなくても、正確なトラッキングが可能で、審判判定補助や詳細なデータ分析など様々な用途で活用することができます。
トラッキングしたデータを
クラウド上で活用し
ファンにも
球団にも求められるサービスを
データの分析をクラウド上で行っているとのことですが、
そのシステムについて教えてください。
そのシステムについて教えてください。
大堀：スポーツデータの活用にクラウド技術を利用しています。スタジアムで生成したトラッキングデータをクラウド環境に随時配信し、そこからボールの速度や軌道、選手の位置情報などを分析し、アプリケーションにリアルタイムで配信する、といった流れです。機械学習エンジニアやデータアナリストが、スポーツデータを利用したAIモデル開発やデータ分析を行う環境もクラウド上で構築しています。
ソリューションの開発において、
ソニーは
どのような役割を担っているのでしょうか。
ソニーは
どのような役割を担っているのでしょうか。
北沢：長期的な開発になりやすい要素技術を、R＆Dの力も借りながら先行して仕込んでいく部分を担っています。例えば直近は精度をより追求するための技術やデータの新たな活用方法の検討をメインで担当しており、実際に、選手向けのデータ分析や、野球ファンにより試合を楽しんでもらうためのサービスの開発などが、実証実験として始まっています。どのようなサービスを提供できるとスタジアムへの来場者数を増やせるのか、そもそもの野球ファンの母数を増やせるのか、といったファンエンゲージメントを高めるサービスを球団さまと一緒に考えて開発していますね。
一般的には、本サービス化や正式な機能としての組込みは数年程度かかりますが、実際のデータを使って実証実験を行う場合は、前シーズンの後半から企画検討が始まって、シーズン開始から3～6ヶ月かけてプロトタイプを開発、そこから実証実験をするケースが多いです。
一般的には、本サービス化や正式な機能としての組込みは数年程度かかりますが、実際のデータを使って実証実験を行う場合は、前シーズンの後半から企画検討が始まって、シーズン開始から3～6ヶ月かけてプロトタイプを開発、そこから実証実験をするケースが多いです。
大堀：社内では具体的なサービスの内容やデータの活用方法などをビジネスチーム・企画チーム・エンジニアが連携しながら考えています。
例えばトラッキングデータのビジュアライズであれば稲生がAIモデルを検討したり、その技術を活用したサービスをお客さまにアプリケーションとして配信するためのクラウド環境であれば私が担当して構築したり、といった形でそれぞれ分業しています。
例えばトラッキングデータのビジュアライズであれば稲生がAIモデルを検討したり、その技術を活用したサービスをお客さまにアプリケーションとして配信するためのクラウド環境であれば私が担当して構築したり、といった形でそれぞれ分業しています。
実際にサービスを作るにあたって
留意していることはありますか。
留意していることはありますか。
大堀：クラウド環境の運用コストと性能のバランスは気にかけていますね。サービスの要件に対して適切なコンピューティングリソースの選択や、運用コストに留意した設計・施策が必要です。
テクノロジーやアセットを結集させ、
新たな感動を創り出す
スポーツエンタテインメントのサービスで、
ソニーらしいと感じる点はありますか。
ソニーらしいと感じる点はありますか。
北沢：実際に仕事をするにあたり、ソニーというブランドと規模感があるからこそ、日本プロ野球や米MLBといった方々と開発ができていると感じています。一スポーツファンとしてそういったお客様と関わりながら、スポーツ界をさらに盛り上げていけるのが、この仕事の一番の魅力です。
大堀：テクノロジーの力でスポーツをより公平に、そして多角的に楽しめるよう開発されたホークアイのソリューションですが、その技術にソニーならではの視点でエンタテインメント性やゲーミフィケーション要素を加えることで、より多くの人に感動を届けられると考えています。
稲生：これは、エンタテインメントや研究開発など、さまざまな分野で独自のテクノロジーを生み出しているソニーだからこそかもしれません。他組織と連携しながら様々な技術を発展させられるのは、ソニーの強みです。技術開発では、ソニーの力を使いエンハンスできるところはないか、という視点を常に持つようにしています。
ソニーらしい視点と技術で
スポーツをさらなる
エンタテインメントへ
今後の展望、技術開発の方向性を教えてください。
稲生：直近の展望としては、トラッキングデータの品質を高めることですね。スポーツ関連のグループ会社であるビヨンドスポーツ(Beyond Sports B.V.)やパルスライブ（Pulselive）と情報交換を行いながら技術開発を進めています。ビヨンドスポーツが強みとしている補正AI技術を取り入れることで、トラッキングデータの質をより改善していきたいと考えています。
大堀：トラッキングデータの効果的な活用を開拓していくフェーズと考えています。データの活用で様々なスポーツのファンエンゲージメントを高めることに貢献できるサービス開発を行っていきたいです。
北沢：スポーツファンに対して、データ活用のメリットや面白さがまだまだ伝わっていないと思っています。ファン向けと球団向けの両面から、柔軟なアイデアをもって企画していくことが求められますね。スポーツの観戦体験をパーソナライズするといった、データを活用した新しいエンタテインメントの可能性を世に出していくことで、もっとたくさんの人たちにスポーツの魅力が伝わっていってほしいと考えています。
