［CEDEC 2023］ゲームとは異なる文化を持つアニメ業界からR&Dを学ぶ。研究開発をテーマにしたセッション「アニメR&Dの最前線」をレポート

　2023年8月23日に開幕したコンピュータエンターテインメント開発者向けカンファレンス「CEDEC 2023」の初日，アニメ制作の現場で行われているR&D（Research and Development。日本語に訳すと「研究開発」）の取り組みをテーマとしたセッション「アニメR&Dの最前線：絵コンテ制作支援からルック開発、ゲームエンジン活用まで」が行われた。

　ゲーム業界向けに，技術的，文化的に異なるアニメ業界のR&Dの状況をとおして，その事例が紹介されたセッションの模様をレポートしよう。

アニメR&Dを行う理由と重要性（小山裕己氏）

　セッションでは，共同研究を行うグラフィニカの小山裕己氏，小宮彬広氏，酒井邦博氏，アーチの加藤 淳氏，拓殖大学の藤堂英樹氏の5名が交代で登壇し，“アニメR&D”にて各々の担当している分野の説明や研究結果を発表した。

　最初に登壇した小山氏からは，アニメR&Dを行う理由と重要性が説明された。

　アニメ産業は，大前提としてパーソナルコンピュータが現在のように一般的でない時代に生まれたため，クリエイターの手作業による“アナログ文化”がある。これはコンピュータゲーム業界との大きな差異の1つだ。その理由からか，情報技術系の人材が少ない，会社によってはまったくいないといったことが現状としてあるという。

　そういった背景もあり，社内にR&Dの部署がないことは一般的で，例え部署があったとしても，目の前の課題を解決することが中心になりがちで，中長期的なR&Dを実施するのが非常に困難な状況にある。

　しかし，アニメのデジタル化や3DCGの活用が進む現在，より新しくて多様なアニメ表現を開拓していくうえで，R&Dを進めることは重要だ。このような考えのもと，今回登壇者として集まったメンバ―は，2023年の初頭に会社や組織を超えた実験的なチームを編成。挑戦的なR&Dを行うためのプロジェクトを推進している。

　同プロジェクトの「絵コンテ制作ツール開発」「新しい絵作りへの挑戦」「アニメ制作ツール開発」という3つの取り組みや，その成果を伝えるというのが，今回のセッションのテーマである。

絵コンテ制作ツール（加藤 淳氏）

　1つめに紹介されたのが，アニメ制作には欠かせない絵コンテを制作するためのツール「Griffith」の開発について。アニメ制作のワークフローを大きく3つに分け，各フローにてどのように絵コンテが使われているか，元がアナログだったものをいかに使いやすいデジタルツールとして作り上げるかの研究開発の事例が語られた。


　基本的に一直線で走るアニメ制作の現場では，後戻りが難しいぶん，最初に制作される絵コンテは，ある意味仕様書として終盤の工程まで重宝される。R&Dとしては，絵コンテを制作するクリエイターが使いやすいものであり，各工程で関わる人たちが共有しやすいものとしてツール制作を進めなければならない。


　当初はその考えまでに至らず，一度Webベースのプロトタイプを作ったが，完成から数か月でそれは失敗と判断せざるを得なくなった。失敗に至った理由は2つあり，その1つは演出家（絵コンテを制作する人）が好む，直感的なUIを作れなかったこと。ペンと紙のように，思い付いたことをすぐ描けるものでなければならなかった。もう1つは，制作の後工程である活用への考えが足りなかったことだった。


　単純にアナログをデジタル化するだけでは足りない。では，どうやって使用者のニーズに応えるツールを作ればいいのか。そこで，実際に使用する演出家に「あなたの頭の中で理想のコンテンツを書いてください」と詳細なヒアリングを実施。アイデアスケッチをツールの設計図にしてモックアップを作成，実装し，さらに演出家にヒアリングを行い議論を重ねたという。


　このプロセスを繰り返し行ってたどり着いた方向性が，「アナログの特徴をなるべく真似る」と「アナログの弱点を解消する」の2つだ。手軽に持ち運べて，遅延がなく，縦に時間軸が取られているというアナログの絵コンテの使いやすさをデジタル上に再現。そして，コマのコピペやカット，作業のアンドゥ／リドゥができない，紙面の広さに制限があり拡縮もできない，というアナログのウィークポイントをカバーすることだ。


　それを意識してUIを作り始めた結果，時間軸が縦で設計されている絵コンテの使いやすさに，あらためて気づかされたという。

　現在，縦の動画も増えてきてはいるが，アニメは基本横長の動画であり，キャラクターは基本横への移動が主となる。横で前後の絵に送ろうとすると，スクロールが長くなるため，縦にコマが並んでいたほうがどう場面が推移するかが分かりやすい。右利き左利き問わず，作業中に利き手が画面の一部を隠してしまうため，そういったところでも上下に並んでいたほうが見やすい。


　また，アナログの特徴としてペンと紙以外のツールを併用しやすいというのがあった。とくに，絵コンテを制作する際に使用するのがストップウォッチ。ただこれも，きっちり時間を決めたいときもあれば，なんとなく計りたいときもある。こうしたアナログの柔軟性は大事で，ツールを制作する際も完全にバインドせず，ある程度独立したものにするよう考えて取り込んだという。


　デジタルならではの強みは，紙面の広さで表すことができた。アナログの絵コンテでは，枠の外に指示やメモ書きがあったり，絵がはみ出していたりするのはよくあることだ。そういったキャンバスの範囲を気にせず，絵や指示を残せるところはアナログにはない利点だ。

　もう1つは拡大縮小。これを使えば，絵や指示をアップで見ることはもちろん，複数のコマで構成される全体の流れを俯瞰で見ることもできる。


　こうした研究結果は，現場での試行錯誤はもちろん言語化も重要であり，そういった意味でCEDECのようなイベントは貴重で，とてもありがたい場所だと語る加藤氏。続けて「言われてみれば，確かに」なUI，「気づいたらできてた」UXを目指して研究開発を行うと話し，絵コンテ制作ツール開発の説明は終了した。

新しい絵作りへの挑戦（藤堂英樹氏）

　続いて藤堂氏から，3DCGをベースに行われた，手書きのようなストローク感やムラ感があり，さらに輪郭線付近のはみ出し効果もあるテントウムシの絵作りについて紹介された。


　このテントウムシは，任意の参照スタイルをテクスチャ合成によってシミュレートし，対象の画像にスタイルを転写し反映するというImage analogiesという考え方を元に作られたものだ。ガイド画像は構成をうまく工夫すれば，スタイル転写の結果をユーザーが自由に制御できるという考えのもと，研究を進めた。


　例となるテントウムシは，当初は転写元のスタイルに対し，3DCGのシーンから作成したシェーディングや輪郭線など複数のガイド画像を設定していた。レイヤーごとにスタイル転写を行うことで，ライティングによるエフェクトの動きや，輪郭線付近のはみ出し効果の実現を目指したのだ。


　これで一見うまくいったように見えたが，動画で確認してみると，輪郭線の境界の段差やマスク抜けといった問題が発生していた。レイヤーごとの合成を突き詰める方向性もあったが，技術的に難しくそれは断念。合成の枠組みを切り替える方向性を模索することに。


　そうして辿り着いた解決法が，タッチと色の分離だった。オブジェクト領域全体への転写に変更したことで，安定した合成結果に。色の変更は別途扱う必要があるが，それはコンポジット側で行うことにした。

　これによって手書きの持つムラ感や揺らぎを残しつつ，レイヤー分けするよりも統一感のあるエフェクトができた。スタイル転写の設定自体は簡単で，コンポジットが取り扱いやすくなり，ほかの課題に時間をさけるようになったという。


　オブジェクト領域全体を合成したことで転写は安定したが，全レイヤーにしたため個別の色調整は難しくなった。そこでコンポジット目線で，カラー素材，ライン素材，落ち影素材に分けることで色変更の柔軟性を確保。個別で素材に分けると，合成単位で切り替えられるという合成面のメリットも生まれた。


　最終的に使ったガイド画像は，照明，マスク，ライン，落ち影，といった最小限のセットに絞り込んだ。照明カテゴリのグリーンバックが転写結果に効き，マスク抜けが起こるかどうかに影響を与えたとのこと。

　また，アニメーションとして動かすときに，フレームごとの合成の連続性がないことによって生まれるちらつきといった課題も発生した。しかし，これは前フレームの転写結果をガイドとして利用したり，シーケンシャルにエフェクトが追従する「時間連続性ガイド」を導入したりすることで解決していったという。

Blenderでのスタイル転写実行と絵作り（小宮彬広氏）
Blenderでの“コマ落とし”処理（酒井邦博氏）

　小宮氏からは，ここまで紹介されたスタイル転写を，Blenderで実行する環境作りについて説明がなされた。そもそもなぜBlenderを選んだのかだが，スタイル転写を実装する上で、オープンソースアプリケーションのほうが導入面での技術的ハードルが低かったからだという。また，ユーザー数が多くて人気のツールであることも大きかったようだ。


　Blenderを使用するにあたり，さまざまな便利ツールを開発した。Blenderで一般的なレンダーエレメントを出す場合は少々複雑だが，スタイル転写用の出力ノードはとてもシンプルで，スタイルごとに個別のパラメータが保存できる。


　さらにカラー素材の入れ替えも簡単で，思ったとおりの転写ができていない場合は，Photoshopを使ってその場で書き換えてリロードできるという。アーティストレベルでも転写のトライ＆エラーがしやすく，監督や演出家からのオーダーがあったときも，すぐにルックのテストができることは利点と言えるだろう。


　酒井氏からは，Blenderを使ったコマ落としという，珍しい事例が紹介された。
　コマ打ち，コマ抜きとも呼ばれるコマ落としは，その名のとおり必要なコマ（フレーム）を絞り，使わないコマを消すことをいう。もともとは手描きのアニメのテクニックで，枚数を制限することで芸術的な映像演出を得たり，コストを減らしたりといった効果がある。


　グラフィニカではこれまで，制作したアニメーションをレンダリングして出力したものにAfter Effectsでコマ落としの処理をしていた。しかし，この場合だとコマ落とし前のデータと処理後のデータで分かれてしまう。


　そこで今回，アニメーション制作に使用するBlenderの中だけでコマ落としをできるよう，BlenderのNLA（Non Linear Animation）機能を活用したアドオンの開発を行った。After Effectsで製作したデータも利用できるので，これまでのフローとも親和性の高いものとなっている。被写体とカメラの動きの不一致で起きるフリッカー（ちらつき）は，コマ落としをするところとしないところを混在させるといった方法で対処した。

終わりに――今後の展望（小山裕己氏）

　最後に小山氏から，本セッションの締めとして今後の展望が語られた。
　アートとテクノロジーの共進化によって新しい表現を実現していきたい。それによって多様で魅力的な将来のアニメ文化を作っていきたい，という考えをもって行われているアニメR&D。これをさらに進めていくには，国際的に通用するレベルでの研究開発，学術研究を継続的に実施して行くことが必要だと小山氏は語る。


　また，R&Dを投資と捉えてくれる経営層，アートとテクノロジー両方を理解するプロデューサー，会社や組織の枠組みにとらわれない体制作り，そして“共通言語の1つ”でもあるゲームエンジンをとおした，ゲーム・コンピュータエンターテインメント業界との交流が重要であると話し，セッションは終了した。

4Gamerの「CEDEC 2023」記事一覧

「CEDEC 2023」公式サイト