contents 1
AI & Cloud Service Technology Report01 Creators' Cloud 撮影プラットフォームに、 ソニーのクラウド技術。
Outline
「Creators' Cloud」は、ソニーの先進的なカメラ技術とクラウドAIを掛け合わせて実現した「クリエイターの撮影から制作全般までをサポートするプラットフォーム」です。映像をクラウドへアップロードするだけで素材の受け渡しができ、リモート環境での制作体制を構築。時間や場所の制約からの解放を実現しています。さらに、AI技術による映像制作や映像解析の自動化により、リソースの有効活用や制作業務の効率化に貢献。報道現場や番組編集、イベント中継などさまざまなシーンで活用されています。従来の法人向けに加え、2023年2月に個人向けの提供を開始しました。
Project Members
ソニー株式会社
イメージング事業
プロダクト＆サービスプランニング
藤井
Creators' Cloudの動画編集クラウド
サービス『Master Cut (Beta)』の企画を
立ち上げ時期から担当。
ソニー株式会社
イメージング事業
クラウドサービスエンジニア
小川
『Master Cut (Beta)』のUIのシステム設計を担当。フロントエンドチームのチームリーダーを務める。
※ 所属・仕事内容は取材当時のものです。
クラウドサービスだから実現できる
瞬時で手軽な動画補正
「Creators' Cloud」の機能と、それによって
動画クリエイターにもたらされる恩恵について教えてください。
動画クリエイターにもたらされる恩恵について教えてください。
藤井：「Creators' Cloud」は、カメラで撮影した写真や動画をクラウドで一元管理し、クリエイターの制作全般をサポートするプラットフォームです。モバイルアプリケーションや動画編集PCアプリケーションなどを提供していて、その中の一つが動画編集クラウドサービス『Master Cut (Beta)』です。現在はベータ版ですが、撮影データをクラウドにアップすると、AIが解析して高速かつ高精度に自動補正し、動画に含まれる音源も自動的に分離します。時間と手間のかかる動画編集を、AIによって効率化し、品質を高めていくことを目指しています。
例えば音の調整ひとつとっても、従来は撮影時間の端から端までをチェックする必要がありました。
これに対して、Master Cut (Beta)では、膨大な音声データをニューラルネットワークで学習させたAIによる自動解析で「人の声」「音楽」「風音」「その他雑音」の4つに音源を分離することで、ユーザーは特定の音だけを選択し補正することができます。例えばカフェでのインタビュー動画なら、店内の音楽や周囲の雑音をボリュームダウンし、人の声だけをボリュームアップするといった、動画クリエイターなら必ず経験のあることが簡単にできるようになります。
例えば音の調整ひとつとっても、従来は撮影時間の端から端までをチェックする必要がありました。
これに対して、Master Cut (Beta)では、膨大な音声データをニューラルネットワークで学習させたAIによる自動解析で「人の声」「音楽」「風音」「その他雑音」の4つに音源を分離することで、ユーザーは特定の音だけを選択し補正することができます。例えばカフェでのインタビュー動画なら、店内の音楽や周囲の雑音をボリュームダウンし、人の声だけをボリュームアップするといった、動画クリエイターなら必ず経験のあることが簡単にできるようになります。
「Creators' Cloud」がソフトウェアではなく、
クラウドサービスとして提供される利点はなんですか。
クラウドサービスとして提供される利点はなんですか。
小川：まずはクラウド上ですべてが完結することです。クラウド基盤はAWSを活用して構築していて、場所にかかわらずアクセスできるクラウド上に、素材が集約されています。ユーザーは手元のPCで自由に編集作業ができるだけでなく、コミュニティ機能を活用して作品を発信することも可能にしています。これらをすべてワンストップで行えるのが、Creators' Cloudの提供する価値です。
また、『Master Cut (Beta)』でいえば、大幅な作業負荷軽減につながる点が挙げられます。動画の補整処理は相当なマシンパワーを要するので、ローカルではハイスペックPCで何時間も作業する必要がありました。『Master Cut (Beta)』を活用すれば、PCの性能にかかわらず高度な動画の補正作業がクラウド上でできるようになります。Webブラウザで動かせるので、ソフトをインストールする必要もありませんし、タブレットでも使用可能です。クリエイターを作業環境の制約から解放できたのは、クラウドサービスならではの利点だと考えています。
また、『Master Cut (Beta)』でいえば、大幅な作業負荷軽減につながる点が挙げられます。動画の補整処理は相当なマシンパワーを要するので、ローカルではハイスペックPCで何時間も作業する必要がありました。『Master Cut (Beta)』を活用すれば、PCの性能にかかわらず高度な動画の補正作業がクラウド上でできるようになります。Webブラウザで動かせるので、ソフトをインストールする必要もありませんし、タブレットでも使用可能です。クリエイターを作業環境の制約から解放できたのは、クラウドサービスならではの利点だと考えています。
ユーザーのヒアリングをもとに
社内で連携し、
使いたくなるUI/UX*を開発
＊UI（ユーザーインターフェース）・UX（ユーザー体験）
『Master Cut (Beta)』の開発過程において、
特に重視したことはなんですか。
特に重視したことはなんですか。
藤井：ユーザーのリアルな声を聞くことです。ヒアリングは初期のコンセプト段階からスタートし、多い時だと3カ月に1回のペースで実施しました。ベータ版が出た現在も半年に1回はヒアリングを実施し、改善に繋げています。「動画制作するうえでの課題」「どういう改善や機能を求めているか」などの意見を聞き、その内容をすぐにサービスに反映、それをまたユーザーに見てもらって検証する。そういったサイクルを回して、サービスの精度を高めていきました。
初期の頃は厳しい意見をいただくことも多かったですが、「AIが一括で音補整してくれると、全体の尺を確認する必要がなくなって助かる」といった、サービスの核となる部分の構築につながる重要な意見にアクセスできたのは大きいことでした。ヒアリングをはじめてから1年経つ頃に、「指摘した課題が毎回改善され、サービスが進化している。これならぜひ使いたい」といったポジティブな意見がもらえるようになったのは嬉しかったですね。
初期の頃は厳しい意見をいただくことも多かったですが、「AIが一括で音補整してくれると、全体の尺を確認する必要がなくなって助かる」といった、サービスの核となる部分の構築につながる重要な意見にアクセスできたのは大きいことでした。ヒアリングをはじめてから1年経つ頃に、「指摘した課題が毎回改善され、サービスが進化している。これならぜひ使いたい」といったポジティブな意見がもらえるようになったのは嬉しかったですね。
小川：また、ユーザーの意見だけでなく社内のチーム同士で連携し、それぞれの要求を満たしていくことも開発においては重要です。『Master Cut (Beta)』の制作には、企画チームとWebアプリケーションのフロントエンドとバックエンドの開発チーム、さらにCreators' Cloudのアプリケーションを横串で見ている基盤チームがあって、『Master Cut (Beta)』側から基盤側へ要求を出し、それに応えてもらうことでアプリとして機能の搭載が可能になっています。このように、アプリ側とプラットフォーム側横断での会話はよくありますね。また日頃のUI実装にあたっては、クリエイティブセンターのデザイナーとの定期的な打ち合わせを行っています。
さらに言えば、AIチームや他の部署のチームと密に連携をとることもありました。音補正の機能について、R&Dから提供されたAIモデルでは性能が思ったほどでなかったことがあって。学習データの追加やパラメータ調整等で、先行して機能を実装していたスマートフォンのXperia™チームを巻き込みながらその点は解決していきました。ソニーは他組織との連携も多く、共創していく文化が根付いているので、年次にかかわらず互いの意見を尊重し合い、真摯に技術の開発に向き合っていく風土がソニーらしい自由闊達なものづくりの根幹にあるのだと感じます。
さらに言えば、AIチームや他の部署のチームと密に連携をとることもありました。音補正の機能について、R&Dから提供されたAIモデルでは性能が思ったほどでなかったことがあって。学習データの追加やパラメータ調整等で、先行して機能を実装していたスマートフォンのXperia™チームを巻き込みながらその点は解決していきました。ソニーは他組織との連携も多く、共創していく文化が根付いているので、年次にかかわらず互いの意見を尊重し合い、真摯に技術の開発に向き合っていく風土がソニーらしい自由闊達なものづくりの根幹にあるのだと感じます。
あえて余白を残して、
クリエイティブな作業を
純粋に楽しめる環境へ
クリエイターのユーザビリティを高めるために
こだわった点はありますか。
こだわった点はありますか。
小川：機能はもちろんですが、私が担当するところでいうと、操作感やUIも重要だと考えます。動画編集ツールはすでに世の中にたくさんあって、その中で業界のスタンダードに沿うべきか、独自の方向性を目指すべきか悩みました。多くのクリエイターが使い慣れているUIから大きく離れたものにしてしまうと『Master Cut (Beta)』の操作性になじんでもらえず、サービスを届けられない可能性もある。そこで、大まかなUIは既存サービスのスタイルを踏襲しながら、『Master Cut (Beta)』が強化している手ぶれ補正や音補正をボタン一つですぐに使えるように工夫しました。
『Master Cut (Beta)』では、ユーザーがどのボタンを押したかなどの操作ログを取っていて、それをもとにより使いやすい画面レイアウトを検討して実装しています。例えば、補正作業から補正後のクリップ出力までの一連の操作ログを分析し、ユーザーが操作に迷っているであろう箇所やこちらの思惑とは異なった使われ方をしている箇所を見つけました。これらの分析をもとに内部で検討し、ボタンの位置などのレイアウト変更を行いました。
『Master Cut (Beta)』では、ユーザーがどのボタンを押したかなどの操作ログを取っていて、それをもとにより使いやすい画面レイアウトを検討して実装しています。例えば、補正作業から補正後のクリップ出力までの一連の操作ログを分析し、ユーザーが操作に迷っているであろう箇所やこちらの思惑とは異なった使われ方をしている箇所を見つけました。これらの分析をもとに内部で検討し、ボタンの位置などのレイアウト変更を行いました。
藤井：私は「すべてを自動化しないこと」を意識していましたね。技術的には動画編集の作業をほとんど自動化することも可能ですが、あえてそれをしない、という選択をしました。
『Master Cut (Beta)』は時間がかかる単純作業を自動化することで、クリエイターが自分の創造力を発揮できるようにサポートするツールです。目指しているのは、"アシスタントが一人増えたような体験"を得られる動画編集サービス。クリエイターから創造する仕事を奪ってしまうことは、私たちの本意ではありません。
実際ユーザーにヒアリングすると、「自分のクリエイティビティを発揮できるところは自分でやりたい」という声が多いです。だからこそ、気が進まない作業にしぼって効率化し、クリエイティブな作業にもっと時間を使えるよう、機能にも余白を残すことが重要だと考えています。
『Master Cut (Beta)』は時間がかかる単純作業を自動化することで、クリエイターが自分の創造力を発揮できるようにサポートするツールです。目指しているのは、"アシスタントが一人増えたような体験"を得られる動画編集サービス。クリエイターから創造する仕事を奪ってしまうことは、私たちの本意ではありません。
実際ユーザーにヒアリングすると、「自分のクリエイティビティを発揮できるところは自分でやりたい」という声が多いです。だからこそ、気が進まない作業にしぼって効率化し、クリエイティブな作業にもっと時間を使えるよう、機能にも余白を残すことが重要だと考えています。
「Creators' Cloud」を
ソニーを代表するサービスに
今後の展望について教えてください。
藤井：まずは『Master Cut (Beta)』を使ってもらうことです。自動で動画補正をするというまだ新しいコンセプトのツールなので、そもそもクリエイターに受け入れてもらえるかが最初のハードルです。最終的にはCreators' Cloud全体で撮影や編集領域も含めて効率化を進め、クラウド技術でできることを増やしていくことで、動画制作のプロセスそのものを変えていく存在になりたいと考えています。
将来的にはクリエイターのみなさんに新しい価値を提供していく中で、ソニーでテクノロジーと人間が共存共栄し、豊かな体験を生み出す世界を実現したいですね。
将来的にはクリエイターのみなさんに新しい価値を提供していく中で、ソニーでテクノロジーと人間が共存共栄し、豊かな体験を生み出す世界を実現したいですね。
小川：機能面ではAIの処理速度をより高速化させ、UI/UX面では時間の経過を感じさせないような工夫を加えていきたいです。『Master Cut (Beta)』単体では初期に比べて効率化されてきましたが、ユーザーのワークフロー全体を見ると、まだまだ最適化されていない部分は残っていると思います。ほかの編集ツールからシームレスに動画の受け渡しができるようにするなど、ユーザーがストレスなく使える機能・レイアウトを拡充し、多くの制作現場に定着させていきたいと考えています。
長期的には、ソニーのカメラユーザーの誰もがCreators' Cloudを使うような、ソニーを代表するメジャーサービスに育てていきたいです。私自身ソニー製品を愛用していますが、ソニーと聞いて自分が思い浮かべるのも、テレビやゲーム機、携帯電話端末などのハードウェアが多くて。お客様にとっても、ソニー＝ハードのイメージは強く、ソフトの印象はまだ根付いていません。だからこそ、私たちにもチャンスがあると考えています。
長期的には、ソニーのカメラユーザーの誰もがCreators' Cloudを使うような、ソニーを代表するメジャーサービスに育てていきたいです。私自身ソニー製品を愛用していますが、ソニーと聞いて自分が思い浮かべるのも、テレビやゲーム機、携帯電話端末などのハードウェアが多くて。お客様にとっても、ソニー＝ハードのイメージは強く、ソフトの印象はまだ根付いていません。だからこそ、私たちにもチャンスがあると考えています。
