［CEDEC 2022］「プロジェクトセカイ」のコネクトライブ機能に見る，リアルタイム配信型バーチャルライブの開発事例

ゲーム開発者向けカンファレンス「CEDEC 2022」の初日となる2022年8月23日，スマートフォン向けアプリ「プロジェクトセカイ カラフルステージ！ feat. 初音ミク」（iOS / Android）。以下，プロセカ）を題材とした講演「『プロジェクトセカイ カラフルステージ！ feat. 初音ミク』リアルタイム配信型バーチャルライブの開発事例」が行われた。ここでは同作の「コネクトライブ」機能の開発事例を挙げながら，リアルタイム配信型バーチャルライブを実現するための技術や手法，そしてプレイヤーにライブ感を体験させるための工夫などが紹介された。

　「プロセカ」は，セガとColorful Paletteの協業による，初音ミクを中心としたピアプロキャラクターズ（ゲーム内ではバーチャル・シンガーと呼ばれる）を始め，オリジナルキャラクターたちも登場するリズム＆アドベンチャーゲームで，2020年9月30日にサービスを開始した。

　本作は，通常のリズムゲームや物語を楽しめるストーリーのほか，「バーチャルライブ」と呼ばれるアプリの中で他のプレイヤーと一緒にライブが楽しめる機能が導入されている。その「バーチャルライブ」を進化，発展させ，3Dキャラクターたちがステージ上でリアルタイムに動き，会話する機能が，本作では「コネクトライブ」と呼ばれるリアルタイム配信型バーチャルライブだ。

　この機能を実現するために，さまざまな技術や手法が使用されているということで，講演ではColorful Paletteでエンジニアを務める山口智也氏，サウンドディレクターを務める磯田泰寛氏，アニメーション/演出班でアニメーターを務める藤本誠人氏の3人によって，各分野での開発事例を挙げながら「コネクトライブ」の開発環境や開発工程が語られた。

既存のバーチャルライブと差別化するコンセプトデザイン・演出

　最初は藤本氏より，「ライブのコンセプトデザイン・演出制作」についての紹介が行われた。

　ライブの演出アセットを制作する環境はUnity Timelineを使用し，制作人数は4人とのこと。制作のキックオフで必要な機能やアセットなどの案出しを行い，最終的に目指すゴールについてもこの時点である程度を決めていたという。そして，ゲーム内からリアルタイム配信でライブを届けるバーチャルライブと差別化するため，360度のステージで自由に動けるようなものに，といった要件を定義していったそうだ。

　そうして出された要件をもとに，プロトタイプとなるモックの制作へと続く。モックの制作では，ステージを構成する要素やプレイヤーからどう見えるか，そしてキャラクターがどこまで移動できるかといった内容から，モニターやライトの数などもこの段階で確認していると藤本氏は話した。


　制作時の最初の目標は，テストプレイ会で早めに全員がプレイできる環境を作ることだと言い，そこでプレイ感を確認するとともに，各ユニットでどのようなイメージになるかといった部分も確認したという。


　テストプレイや確認を繰り返しながら，会場の見た目づくりに着手したとのことだが，まずは静止画に直接レタッチして，演出を行った際にどのような見た目になるのかを模索。コネクトライブは通常のバーチャルライブと違って楽曲をフル尺で披露するため，フル尺での見た目を想定しながら先と同様に静止画にレタッチを加えてクオリティラインを定義していく。そして，それを実現するためのアセットを洗い出していったとのことだ。

曲の流れに沿って，各パートに入ったときの演出を静止画にレタッチしてクオリティラインを定めている

　こうして演出の流れを決定後，その演出を実現するための仕様づくりと，Unity Timelineで必要なトラックの追加作業が行われていく。
　各トラックは，全体の明るさや影の向き，フォグの制御などで，主に会場の空気感を作り出すポストエフェクトだ。
　ステージやキャラクターの光源設定を決めるライティングでは，ステージ全体の明るさを決めるステージアンビエントを始め，ステージの床に一部ライトを当てられるポイントライト，1キャラクターごとに明暗の値を設定できるキャラクターアンビエントや，会場の光源に合わせて変化可能なキャラクターリムライト，そして会場上部にモヤがかかったようにすることで，よりライブ会場の空気感が出せるフレアといったトラックを用意している。


　アセット類のトラックは，それぞれ画像のように「エフェクト」「スポットライト」「サーチライト」「ネオンライト」「楽曲固有の3Dモデル」「モニター映像」といった種類が用意され，各部に必要な個数を設定している。また，演出とは直接関係ないものの，演出を合わせるBGMやSE，オーディエンスのボイスなども，Unity Timelineのトラック上で設定している。

コネクトライブの観客（アバター）関連の制御もTimelineのトラックで行っているという

　これらの仕様を踏まえて，実際に楽曲の演出が確認できるものを1曲制作し，クオリティラインと一通りアセットを入れたときの見え方などを確認する作業を行う。問題なければ，このベンチマークをもとに他の楽曲の演出も制作。コネクトライブは7曲で構成されるため，7曲すべての演出が完成後，全体の流れを通しで確認していくという。

演出を量産する際は，コネクトライブ特有の360度ステージであることを考慮し，プレイヤーの位置によって目線が変わるため，可能な限りライティングなどがキャラクターの邪魔にならないような演出を心がけたという

会場の空気感を作るため，フレアで天井周辺の色や濃さ，フォグで会場全体明るさや色合いを調整している

既存のバーチャルライブとの差別化にこだわっている

　こうして全体のアセットがそろった段階で，技術検証を主な目的としたテクニカルリハーサルを行ったとのこと。ここでは本番を想定して，実機で環境やアセットを確認するとともに，演出をはじめとしたライブ全体のクオリティチェックを実施。機能の不足や不具合などがないかなども確認している。
　このテクニカルリハーサルで出た意見をもとに，さらなる改修やバグ修正を行い，合わせて負荷軽減などもこの段階で行ったという。

テクニカルリハーサル後にNGになった機能もあり，その1つがメンバーの入退場や楽曲演出に使用を想定していた昇降機だという。残念ながらクオリティ面や高低差が出ることによるキャラクターの干渉部分などのリスクが大きかったようだ

テクニカルリハーサルを通じて得た課題として，リアルタイム感があまりないという点から，観客がリアルタイムでリアクションするコール＆レスポンスのトラックが追加されたという

　こうした段階を経て完成間近となった後は，公演までひたすら調整と各種バグの対応に時間を費やし，クオリティアップを目指していたという。やはり，初のリアルタイム配信ということで想定外のバグも多かったようで，かなり苦労があったようだ。


　藤本氏は最後に制作で難しかった点として，当日アクターがアドリブで動く部分に合わせた演出作りや，アセット全体の容量をはじめ，Timeline全体のクリップ数など，リアルタイム配信の通信部分に影響する点からくる描画負荷の軽減，楽曲をフル尺で披露することによる演出のバランス，各種バグの原因調査といったことを挙げ，本パートを終了した。

アドリブで「リアル感」を実現するオペレーション

　次は，磯田氏による「配信スタジオでのオペレーション」について説明が行われた。

　磯田氏によると，配信スタジオでのオペレーションはモーションチーム，表情操作チーム，ステージ演出チーム，音響チーム（主にPAとマニピュレーション）のほか，キャラクターボイスと台本を管理，エンジニアなど配信システムを管理，進行など，さまざまなチームによって構成されており，スタッフは約50名ほどだという。


　配信オペレーションの概要として，まず挙げられたのがキャラクターモーションについてだ。キャラクターモーションはアクターによるモーションをリアルタイムでキャプチャし，それを配信する。そのため，実機のステージと同様に360度の円形ステージを用意し，ステージ四方のディスプレイに，配信映像，台本を表示しつつ，装着したイヤモニによる指示のもと，対応した動きをするという。
　キャラクターボイスに関しても同様にリアルタイムで配信するため，あらかじめキャストにアドリブを多く入れてほしいと依頼していたという。
　なお，前回は1日に3回の公演を行ったが，MCによるアドリブの変化や楽曲中のモーションの差分を複数用意していたことで，3公演が同じセットリストでありつつも，違ったライブ体験を実現できたとのことだ。


　続く“キャラクターの表情コントロールについて”は，キャラクターのMCボイス/モーションに対応する形で，リアルタイムに手動で操作を行っているとのこと。具体的には，コントローラ（ゲームパッド）の各ボタンにそれぞれの表情をアサインし，それらのスイッチを切り替えることで表情を変化させており，まばたきも手動操作だという。
　一方，キャラクターのリップシンクは，各キャラクターのボイスをPAからチャンネル別に送出したものを受け取る形で，自動で開閉する形となっているようだ。
　これらを組み合わせることで，リアルタイムにキャラクターの表情が変わり，生き生きとしたキャラクターを生み出している。


　ステージ演出についても，キャラクターの入退場に対して的確に照明を制御したり，MCなどのきっかけに対して最適なタイミングで楽曲をスタートしていたりするとのこと。先のパートで紹介した通り，ステージ演出はアセットとして楽曲演出に組み込まれており，マニピュレータからのLTC送出をきっかけとして，演出タイムラインがスタートするようになっていると磯田氏は話した。
　一方で，キャラクターの表示/非表示の切り替えや会場照明の制御，会場内のBGMやSEの制御などは，コントローラによるリアルタイム制御で行っているとのこと。


　楽曲以外の音響については，表情やステージなどの演出と同様に，事前に配信した効果音アセットをコントローラで手動制御し，キャラクターやモーションのアドリブに対して，主にMCパートにおける会場内のガヤ演出をリアルタイムで制御しているそうだ。
　ピアプロキャラクターズのボイスは事前のアセット配信は行わず，PAWからサンプラーでPA側に送出し，セカイキャラクターと同様にリアルタイム配信するシステムとなっている。


　ライブ演出は，事前にアセットを実装して配信してあるものと，リアルタイムでデータを配信しているものの組み合わせで成り立っており，特定の行動で実装済みのアセットが自動的に制御されるもの，その都度コントローラで手動制御するものを使い分けている。
　キャラクターモーションやキャラクター音声（リップシンク）など，アドリブやリアルタイム性が求められる要素は完全にリアルタイム配信による演出にしており，ユーザーコメントやペンライトによるユーザー投票など，観客とのコミュニケーションが実現できているのは，このおかげでもある。


　コネクトライブの大きなポイントは，やはりアドリブだと話す磯田氏。その理由として，アドリブによる「リアル感」を挙げた。アドリブが可能なことで，公演ごとに異なるモーションや自由度の高いMC，それらに合わせた表情の変化も実現でき，まさにリアルなライブが体験できるという。

ライブ配信システムの全体構成

　「配信スタジオでのオペレーション」に続き，山口氏より「ライブ配信システムの全体構成」についての紹介が行われた。

　コネクトライブは専用のライブ配信/視聴システムを新たに構築したことで，配信に適した環境となっている。配信システムはライブ配信基盤，リアルタイム通信基盤，ライブ配信スタジオ，アプリといった，4つの要素で構成され，サーバー上にあるライブ配信とリアルタイム配信という2つの基盤で成り立っているという。


　ライブ配信スタジオでは，ライブのリアルタイム収録が行われ，ライブ配信基盤を通してアプリにデータを送信。各端末のアプリは，リアルタイム通信基盤にメッセージなどのアクションを送信しており，ライブ配信スタジオでそのデータを受信できる仕組みとなっている。

ライブ配信システムを詳細にすると画像のような構成となる。ライブ配信スタジオに構築されたモーションキャプチャシステムと音響システムを，キャラクター配信用の端末と配信管理用の端末に接続し，ライブ配信基盤を通してアプリへライブの情報がリアルタイムで送信される

キャラクター管理端末は，モーションキャプチャーと音響システムからキャラクターのモーションや声の情報をキャラクター別に受け取り，リアルタイムの自動リップシンクや手動操作によるキャラクターの表情変化を反映したキャラクター情報を配信管理端末に送信

キャラクター管理端末とは別に，配信管理端末では配信に乗せるためのキャラクターの声がミックスされた音声を受け取っているほか，あらかじめアセットとして持つ楽曲音源など，再生に必要な信号受信も同時に行っている。その上で，配信管理端末に接続されたコントローラを通して，ステージのライトなどのライブ情報が操作できる

キャラクター，音声などの各種データが揃っている場合は，配信管理端末はライブ配信基盤にデータを送信。そこからアプリへ順次送信されていく

　次に紹介されたのは，AWS Cloud上に構築されているライブ配信基盤のサーバーのバックエンドについてだ。ライブ配信スタジオの配信端末は，ウェブソケットを通して配信基盤にデータを送信するが，その送信を行ったタイミングで，アプリの初回接続時に過去データを受信するためのデータがキャッシュされていくとのこと。


　それに対してアプリは，配信基盤へ初回接続した際，キャッシュされた過去数秒分のデータを受信でき，その後はServer-Sent Eventsを通して配信端末から送信されたデータを送信されたタイミングで順次受け取れるという。
　また，数万人単位のプレイヤーの接続が予想されているコネクトライブでは，安定して高速にデータを配信するため，一度配信したデータはCDNにキャッシュされる仕組みとなっている。

各プレイヤーのアプリはリアルタイム通信基盤に接続しており，各アプリ内で情報が同期されている。配信管理端末ではリアルタイム通信基盤を通してアプリで行ったメッセージなどのアクションを収集し，配信スタジオ内でそれらを表示。またライブの開場や閉場といったライブ状態の管理も本基盤を通して行っている

リアルタイム配信を実現するための基盤技術

　ここからは「リアルタイム配信を実現するための基盤技術」として説明が続けられ，コネクトライブで送受信しているデータがモーションデータ，音声データ，ライブステージデータの3種類であることと，それぞれのデータの簡単な内訳が紹介された。


　山口氏は，配信されているデータの大部分を占めているのがモーションデータであり，各ボーンの角度を同時に複数体送っていることが理由だと明かし，その配信容量削減のために行っている工夫を紹介してくれた。

　1つは，モーションのディテールが許容範囲まで再現できる程度に，モーションのフレームをリダクションすること。もう1つは，キャラクターごとの各ボーンの角度データの精度をフロートからハーフに落として配信することだという。

　また，コネクトライブは1時間ほどスマートフォンに向けてデータを配信し続けるため，データサイズの削減も必須項目とのこと。先のモーションデータも含めて，独自のフォーマットでシリアライズしており，シリアライズしたデータをさらにgzip圧縮してサーバーに送信することで，データサイズの削減を実現しているという。

音声データはgzip圧縮ではなく，CRIの音声コーデックHCAでエンコードしている

　コネクトライブは，受信したデータを再生する際の時間を同期するため，配信時に各データへタイムスタンプを付加しており，アプリではタイムスタンプが付加されたデータを受信したタイミングでバッファに格納。バッファの先頭データから，付加されたタイムスタンプをもとに再生するタイミングを評価して再生していく。
　なお，モーションデータのように連続するような値の場合は，時間軸として2つのデータの中間となる値を計算して利用することで，データ自体のフレームレートを補完し，スムーズに再生を行えるのだという。

ライブ感を体験させるための工夫とは

　山口氏は，最後に「ライブ体験を作る技術的工夫」という項目で，コネクトライブがリアルタイムならではのライブ感を体験できる点を重視していると前置きし，その技術的な工夫について紹介した。


　コネクトライブ中，プレイヤーはリアルタイム通信基盤内のRoomという場所にアクセスしており，アプリから送信されたメッセージなどのアクションは，基本的にこのルームの中で同期されている。1つのRoomには100人ほどがまとまっており，そうしたRoomが複数存在する。そして，さらに複数のRoomをまとめたGroupと呼ばれる概念が存在しており，これで複数のRoomの情報を1つのGroupに集約できるようになっている。
　配信スタジオのライブ管理端末は，リアルタイム通信基盤内のGroupに順次接続することで，該当のライブを視聴している全Roomの情報を収集でき，収集したデータを効率よく配信スタジオに表示することで，キャラクターたちがリアルタイムにプレイヤーのメッセージに反応できるという仕組みを実現している。


　ペンライトトークは手動で開始イベントを発行する必要があるとのことで，配信スタジオのライブ管理端末から，リアルタイム通信基盤内のNoticeGroupと呼ばれる全アプリが接続しているシステムを介してアプリ側に通知される仕組みとなっている。

　NoticeGroupは先述したGroupとは異なり，全プレイヤーがそれぞれで接続している部分となるため，ここで発行されたイベントは全員が受け取る形となるとのことだ。
　これによってペンライトトークの投票が始まり，プレイヤーがアプリ上で投票すると，情報がアプリからRoom，Groupを通じてライブ管理端末へと収集されていく。ここで集計した結果によってライブの進行が変化する場合もあるため，結果は配信スタジオで表示され，同時にNoticeGroupを通してアプリへも表示される。
　これにより，自分が投票したペンライトの色はもちろん，他の人が投票したペンライトの色も見えるため，ライブの雰囲気や熱量などが体感できるというわけだ。


　講演のまとめとして山口氏は，コネクトライブならではのライブ感ある体験を目指すために，360度のバーチャル空間特有のステージ演出に始まり，ボイスやモーション，表情などによるアドリブといったリアルタイム性の高い要素，データサイズの最適化，安定したデータ送信を行うための独自の通信基盤の開発，観客とステージ上のキャラクターたちがリアルタイムでコミュニケーションできる要素など，多くの工夫を行っていると話し，今後も驚きと感動を与えられるよう鋭意開発を進めていくとして，講演を締めくくった。

「プロジェクトセカイ カラフルステージ！ feat. 初音ミク」公式サイト

「プロジェクトセカイ カラフルステージ！ feat. 初音ミク」ダウンロードページ

「プロジェクトセカイ カラフルステージ！ feat. 初音ミク」ダウンロードページ

「CEDEC 2022」関連記事一覧