contents 1
AI & Cloud Service Technology Report04 mocopi™ モーションキャプチャーに、 ソニーのAI技術。
Outline
人やモノの動きをデジタル化してコンピューターに取り込むモーションキャプチャー。これまでは複数台のカメラや専用スタジオ、特殊な全身スーツなどが必要なことが多く、一般の人が使うにはハードルの高い技術でした。そこでソニーが開発したのが、たった6つの500円玉サイズのセンサーとスマートフォンだけでフルボディトラッキングができるモバイルモーションキャプチャー「mocopi™」。屋外でも屋内でも場所を問わずに、誰もが手軽にフルボディトラッキングをすることが可能になりました。2023年1月のリリース以来、VTuberやメタバースを表現の拠点とする人々の創作活動をより簡単で自由なものにしてきたmocopiは、使用者の声を反映しながら常に進化を続けています。
Project Members
ソニー株式会社
新規ビジネス
プロダクト＆サービスプランニング
中林
mocopiの
商品企画を担当。
ソニー株式会社
新規ビジネス
エンジニア
佐藤
開発周りや他社サービスとの
連携を担当。
ソニー株式会社
研究開発（R&D）
望月
AIエンジニアとして、
mocopiの
センシング技術開発を担当。
※ 所属・仕事内容は取材当時のものです。
モーションセンシング技術とAIを駆使
少数のセンサーで
フルボディトラッキングを可能に
mocopiは6つのセンサーでのトラッキングを
実現するのが
大きな特徴ですが、
どこにAI技術が使われていますか。
実現するのが
大きな特徴ですが、
どこにAI技術が使われていますか。
望月：mocopiの手軽さの実現には、最先端のAI技術や精度の高いセンシング技術などを組み合わせた、ソニー独自のアルゴリズムが駆使されています。
基本的なシステムとして、6つのモーションセンサーには加速度センサーとジャイロセンサーが内蔵されています。原理的には加速度を積算することでセンサーの位置をトラッキングすることができますが、センサーで計測された加速度にはノイズが含まれるため、単純な物理計算では誤差が発生し、すぐに位置がずれてしまいます。そこで登場するのが、ディープラーニングです。光学式のモーションキャプチャーで取得された高精度なモーションデータから加速度や角速度といったデータをAIに学習させることで、センサーの誤差を抑制しつつ、肘やひざなどセンサーを付けていない中間関節も含めて全身の姿勢をトラッキングしています。ただし、ディープラーニングだけに頼りすぎると今度は動きに違和感が出てしまうので、物理的な計算とディープラーニングをうまくミックスすることで、最終的に滑らかで違和感のないトラッキングを可能にしています。
アカデミックの世界でさえ開拓が行われていない領域だったため、6つのモーションセンサーのみでトラッキングの精度を向上させるのは、技術的にかなり難題とされていました。ディープラーニングの活用に加え、センサーそのものの精度を高めたり、物理計算とミックスさせた手法を検討したりなど、トライアンドエラーを繰り返しmocopiを完成させています。
基本的なシステムとして、6つのモーションセンサーには加速度センサーとジャイロセンサーが内蔵されています。原理的には加速度を積算することでセンサーの位置をトラッキングすることができますが、センサーで計測された加速度にはノイズが含まれるため、単純な物理計算では誤差が発生し、すぐに位置がずれてしまいます。そこで登場するのが、ディープラーニングです。光学式のモーションキャプチャーで取得された高精度なモーションデータから加速度や角速度といったデータをAIに学習させることで、センサーの誤差を抑制しつつ、肘やひざなどセンサーを付けていない中間関節も含めて全身の姿勢をトラッキングしています。ただし、ディープラーニングだけに頼りすぎると今度は動きに違和感が出てしまうので、物理的な計算とディープラーニングをうまくミックスすることで、最終的に滑らかで違和感のないトラッキングを可能にしています。
アカデミックの世界でさえ開拓が行われていない領域だったため、6つのモーションセンサーのみでトラッキングの精度を向上させるのは、技術的にかなり難題とされていました。ディープラーニングの活用に加え、センサーそのものの精度を高めたり、物理計算とミックスさせた手法を検討したりなど、トライアンドエラーを繰り返しmocopiを完成させています。
キーワードは"クイック"
小回りの利く座組で
変化の早い業界に対応
開発までの経緯を教えてください。
望月：もともと我々の部署では、テニスラケットに装着したセンサーのデータからプレーを解析する「Smart Tennis Sensor」というプロダクトの技術開発をしていました。その開発がひと段落した当時はARやVRが徐々に普及し始めており、次のステップとして着目したのが“身体の動きを精緻に捉える”というニーズです。そこで、我々の得意とするセンシング技術を活かしたモーションキャプチャーの開発が2017年にスタートしました。mocopiの原型となるプロトタイプが完成したのは、そのわずか半年後です。ソニーグループ内のさまざまな組織で実証実験を行った結果、ビジネスとしての大きな可能性を見出され、2021年に商品開発プロジェクトがスタートしました。
中林：そこから、望月をはじめとするセンサーやディープラーニングのエンジニア、アプリ開発のエンジニア、商品企画担当である私が加わり、商品開発チームが結成しました。
商品化を進めていく中で、mocopiのメインターゲットユーザーであるVTuberの多くが佐藤が開発しているバーチャルモーションキャプチャーを使用していることがわかり、是非mocopiと連携させていただきたいと思い、直接私からSNSを通じてコンタクトをさせていただききました。当時はまさかこうやって一緒に働くことになるとは思ってもいませんでした。
商品化を進めていく中で、mocopiのメインターゲットユーザーであるVTuberの多くが佐藤が開発しているバーチャルモーションキャプチャーを使用していることがわかり、是非mocopiと連携させていただきたいと思い、直接私からSNSを通じてコンタクトをさせていただききました。当時はまさかこうやって一緒に働くことになるとは思ってもいませんでした。
佐藤：個人的にアプリを作っていたところから声をかけられたという経緯にあって、少し異色な合流の仕方かもしれませんね。個人ではちょっと限界を感じるようなことも、ソニーが持つ技術を使ったり、色々な人の協力を得たりしながらmocopiのアプリ開発を進めています。ソニーの商品開発として規模は大きくはないチームでしたが、その分、メンバー同士はシームレスで円滑なコミュニケーションができ、スピード感を持って進めることができました。
商品開発においてこだわったことはなんですか？
望月：R&Dフェーズでチーム全員が強くこだわったのが、「高校生でもモーションキャプチャーを使って自由に楽しめる」世界観です。モーションキャプチャーの精度を上げるだけなら、例えば専用のカメラを使ったり、センサーの数を増やしたりすればいいかもしれません。しかし専用カメラを使うとなると、人の動きや撮影の画角が大幅に制限されてしまいます。また、モーションセンサーの数を増やすというのも、装着の手間やコストの面で大きなハードルになります。精度とユーザビリティがトレードオフの関係にある中で、モーションキャプチャーとして十分に楽しめる精度を保ちつつ、誰でも簡単に、いつでもどこでも使える使用感を両立するギリギリのラインが、6つのモーションセンサーだったんです。
“ソニーらしい”確かな技術を
“ソニーらしくなく”展開
商品開発の中で、ソニーらしいと感じたところを教えてください。
望月：ソニーらしいといえるのが、何といっても高い技術力です。先述の『6つのセンサーのみで精度を向上させる技術』には、ソニーが長らく蓄積してきたセンシングやAIなどのさまざまなノウハウが詰まっています。また、創業者のひとりである井深 大の「もっと小さくできないか」という口癖に根差した「小型化」も技術力の賜物と言えると思います。センサーのサイズを500円玉程度まで落とし込めたのは、開発の元となったSmart Tennis Sensorの小型化技術が応用できたからですね。
望月：もうひとつ現在のソニーらしい商品開発といえるのが、ソニーグループにはエレクトロニクス製品、半導体、ゲーム、音楽、映画などの領域があるため、幅広い立場の関係者から有効なフィードバックを集め、製品の完成度を高められた点です。実際にmocopiは開発段階から映像コンテンツの制作現場に持ち込まれたり、アニメのイベントで試用されたりすることで、その感想を開発に活かしました。
中林：一方で、商品化においては開発からマーケティング戦略に至るまで、通常ではやらない新しいことにもチャレンジできたと思います。例えば、開発段階で、いち早くユーザーの方に触っていただきフィードバックを貰うことでクイックに商品をより良いものにブラッシュアップしたり、mocopiチームでSNSアカウントをもち動画を制作したり自らインフルエンサーになったりと、われわれ自身が対外発信していく機能を持つというチャレンジを行っています。また、佐藤の合流に象徴されるように、mocopiにおいては、他社のサービスやさまざまな人を巻き込んで開発・展開されてきたのも特徴的ですね。
佐藤：スマートフォンでモーションキャプチャーを手軽に行えるだけでなく、SNSやゲームなど、ほかのサービスと組み合わせて使うことで、より楽しみが広がっていく商品です。mocopiはソーシャルVRサービスの『VRChat』、ゲームエンジンの『Unity』、私が個人で開発している配信支援ソフトウェア『バーチャルモーションキャプチャー』などを公式にサポートしています。
mocopiとの連携サービス ※2024年2月1日時点
mocopiとの連携サービス ※2024年2月1日時点
一般にもメタバースをもっと身近に
ヘルスケア分野への応用も
日頃のmocopiのアップデートについて教えてください。
佐藤：機能面では『X（旧Twitter）』や『Discord』で発信された意見を参考にすることが多く、開発チームがファンコミュニティにあえて参加し、ユーザーの声を直接聞きにいくこともあります。
『X（旧Twitter）』で「脚の位置が少し違う気がする」という意見があった時には、脚の動きや位置などの精度を向上させてすぐにアップデート時に改善するなど、ユーザーの生の声を製品に活かしています。スマートフォンを操作してアバターの表情を調整する機能など、製品の発売後に追加された仕様の大部分はこうしたSNSでの意見をヒントに実現させています。
また、他社のソフトウェアやデバイスを用いて表情や指の動きまでトラッキングし、連動させることも可能になりました。こうした仕様は、“どこでも手軽にモーションキャプチャーができる”というmocopiの世界観や、最大の強みである手軽さとの親和性を優先しながら、少しずつ展開しています。
『X（旧Twitter）』で「脚の位置が少し違う気がする」という意見があった時には、脚の動きや位置などの精度を向上させてすぐにアップデート時に改善するなど、ユーザーの生の声を製品に活かしています。スマートフォンを操作してアバターの表情を調整する機能など、製品の発売後に追加された仕様の大部分はこうしたSNSでの意見をヒントに実現させています。
また、他社のソフトウェアやデバイスを用いて表情や指の動きまでトラッキングし、連動させることも可能になりました。こうした仕様は、“どこでも手軽にモーションキャプチャーができる”というmocopiの世界観や、最大の強みである手軽さとの親和性を優先しながら、少しずつ展開しています。
今後のmocopiのビジネス面での展開について教えてください。
中林：今後の展望としては映像制作やゲーム開発などのクリエイターが、気軽にmocopiを使う未来です。ソニーには、昔から“クリエイターを支える”というビジョンが受け継がれていて、mocopiもプロのコンテンツ制作現場で役立つための仕様や展開を研究しています。最近ではEpic Games社のゲームエンジン「Unreal Engine」と連携し、CG制作の際のシミュレーション映像に活用されるなど、少しずつプロのコンテンツ制作のなかにもmocopiが登場しています。
また、一般ユーザーへのさらなる普及も視野に入れています。私たちの理想は、ひとり一台、スマートフォンと同じように誰もがmocopiを持っている世界。現在、利用者の多くは、VTuberやソーシャルVRといったサービスを利用している、ITリテラシーの高いユーザーですが、例えばmocopiを使ってメタバースで行われるスポーツに参加したり、ヘルスケア分野にも広がることで、一般ユーザーにもより身近な存在になることを目指していきたいです。
また、一般ユーザーへのさらなる普及も視野に入れています。私たちの理想は、ひとり一台、スマートフォンと同じように誰もがmocopiを持っている世界。現在、利用者の多くは、VTuberやソーシャルVRといったサービスを利用している、ITリテラシーの高いユーザーですが、例えばmocopiを使ってメタバースで行われるスポーツに参加したり、ヘルスケア分野にも広がることで、一般ユーザーにもより身近な存在になることを目指していきたいです。
