ストリーミングのヒントとテクニック

ライブアニメーションを扱う際に直面する可能性がある問題と、その解決策および回避策について説明します。Character Animator でシーンをストリーミングする際の基本については、シーンライブのストリーミングを参照してください。

バックグラウンドノイズ削減機能付きの高性能マイクを使用すると、ノイズフリーのオーディオ環境と同様の効果が得られます。声優が別の場所からの音声を聞き取る必要がある場合は、その他の音声が聞こえてこないように、声優にヘッドフォンを使用させることをお勧めします。また、声優にヘッドフォンを使用させると、声優自身の声が遅れて聞こえてくるのを防ぐ効果もあります。

例

• ヘッドセット マイク ：
  SpeechWare FlexyMike 両耳カーディオイド
• タブレットマイク（頭のトラッキングを別の人物がおこなう場合）：
  EV RE20
  Shure SM7
• オーディオインターフェイスの製造元：
  RME
  MOTU

注意：USB は便利ですが、従来の有線機器よりも音声のミキシングと管理が複雑になります。

• 1 体のキャラクターのみをブロードキャストする場合は、大半の USB マイクとオーディエンスインターフェイスを正常に使用できます。
• NDI で合成された複数のキャラクターをブロードキャストする場合は、有線マイクとプロフェッショナル向けオーディオインターフェイスを各コンピューターで使用することをお勧めします。
• また、小型のミキサーを使用すると配線が容易になります。

通しでのリハーサル

ライブパフォーマンスを開始する前に、実際の声優で最初から最後までテストをおこなってください。調整が完了したら、何も変更を加えないでください。テストは Facebook、YouTube、Twitch などでおこなってください。

シーンのフレームレート

多くの場合、シーンのフレームレートは 24 fps に設定することをお勧めします（これがアニメーションで最も一般的なフレームレートです）。

ネットワークスイッチに接続された複数の CPU の使用

ギガビットイーサネットケーブル（Cat 5e または Cat 6）を使用して各コンピューターをスイッチに接続します。

合成されたキャラクターを確認するためのモニター

演技者が自分の動きとキャラクターがどのように合成されているかを確認できるようにするには、合成用コンピューターに外付けモニターを接続して演技者の前に配置します。

くしゃみ

ライブパフォーマンスで顔のトラッキングをおこなっている最中に、くしゃみをしたくなった場合や、飲み物を飲みたくなった場合や、何らかの理由で顔をそらす必要がある場合は、セミコロン（;）キーを押すと顔と目のトラッキングを一時中断してキャラクターが演技者の動きに追随しないようにすることができます。顔ビヘイビアーの「スムージング」設定を使用すると、セミコロンキーを放したときにキャラクターが演技者の現在の位置まで移動する速さを制御できます。

リップシンク

• カメラとマイクパネルの「オーディオ入力を自動強調」オプションをオフにして、リップシンクの精度が上がるかどうかをテストしてください。このオプションをオンにするとマイクに入り込む他の音声を抑制できますが、入力レベルを適切に設定する必要があります。
• （声優がマイクから遠ざかったり 、 興奮して叫び始めたりしたような場合に）その場で音声入力ゲインを調整できるように準備しておく必要があります。
• ソフトウェアスイッチャー（OBS または Wirecast） では 音声の遅延が 1 ～ 2 フレーム（約 60 ミリ秒）ほど発生します。マイクの前で手を叩き、（Facebook Live などの環境で視聴者側から見て）手を叩く音と口の動きが一致するにように調整をおこなってください。

ライブでリップシンクをおこなう場合によく発生する問題は、キャラクターの口が止まっていなければならないタイミングで動いていたり、キャラクターの口が動いていなければならないタイミングで止まっていたり、音声と口の動きが一致していなかったりすることです。

キャラクターの口が止まっていなければならないタイミングで動いている

この問題はステージ上のようにノイズが多い環境でよく発生します。ストリーミングの場合はあまり発生しない問題です が、 不要な音声がマイクに入り込むとこの問題が発生する場合があります。

• 声優をサウンドブースに隔離してください。
  
• Character Animator を実行しているコンピューターの入力音声レベルを下げてください。
  
• 声優にオフアクシスリジェクション性能に優れたマイクやヘッドセットを使用させてください。リップシンクに使用するマイクは必ずしもブロードキャスト音声用のマイクと同じにする必要はありません。
• マイク信号が Character Animator に到達する前にオーディオゲートとハイパスフィルターを適用してください。この時点の音声を最終的なブロードキャストに使用しないでください。
• パペットが黙っていなければならない場面でパペットの口を閉じるなど、自然な口の形状を切り替えられるようにしておく必要があります。

キャラクターの口が動いていなければならないタイミングで止まっていたり、正しくない 口形素が表示される

この問題は視聴者に気付かれることが比較的少なく、視聴者の気が散ることもあまりありませんが、考慮には値します。リップシンクアルゴリズムは、分析する音声信号に不要な音声が入り込んでいない 健全な 状態のときに最良の結果をもたらします。信号レベルが低すぎる場合は口があまり動かず、ほぼ子音だけを発音しているような口の動きになります。信号レベルが高すぎる場合も口はあまり動かず 、 ほぼ母音だけを発音しているような口の動きになります。

• Character Animator を実行しているコンピューターの入力音声レベルを上げるか、または下げてください。オーディオメーターが役立つ場合もあります。
• マイク信号が Character Animator に到達する前にコンプレッサーやリミッターを適用してください。これにより信号レベルが比較的均一になり、負荷をかけすぎることなく入力レベルを上げられるようになります。この時点の音声は最終的なブロードキャストにそのまま使用することもできますが、さらに加工してからブロードキャストに使用することもできます。これはブロードキャスト音声に対して一般的におこなわれる処理です（コマーシャルの音量が大きいのはそのためです）。
  

音声と口の動きが一致していない

キャラクターの口はキャラクターの声と連動して動かなければなりません。声と口の動きがずれていると視聴者はすぐに気付きます。視聴者がリップシンクに気を取られないようにするのが理想的です。口 形素 計算によりビデオ出力にわずかな遅延が発生しますが、Mercury Transmit や NDI やプロフェッショナル向けビデオ機器でも遅延は発生します。そのため、ビデオパイプラインで発生した遅延と同じ分だけ視聴者向けの音声を遅らせる必要があります。

• 遅延が 20 ミリ秒を超える場合は、声優が演技をおこなうときに、声優自身の声が遅れて聞こえてこないようにすることが重要です。電話会議の場合、自分の声が 0.5 秒近く遅れて聞こえてくると、話を続けたり考えたりするのが困難になりますが、これと同じことです。ノイズキャンセリング機能付きの高性能ヘッドフォンを使用すると、遅れてはね返ってくる自分の声がほとんど聞こえなくなります。また、ヘッドフォンを使用すると、プロデューサーからの指示や視聴者からの質問を聞く際にも役立ちます。
• 音声を遅らせる方法はほぼ無限にあります。重要な点は、遅れた音声が視聴者のみに届くようにすることです。Character Animator を実行しているコンピューターには遅延が適用される前の音声が届くようにする必要があります。音声を遅らせる方法には次のようなものがあります。
• 外付けオーディオ機器
  
• ブロードキャストする前に音声信号をソフトウェア DAW に通す。
  
• Wirecast や OBS Studio を使用すれば、NDI 音声とコンピューターのオーディオインターフェイスに送信される音声の両方を遅らせることができます。
  

NDI を使用して 他のアプリケーションにキャラクターを送信する場合

NDI を使用して他のアプリケーションにキャラクターを送信する場合は、同じアプリケーションに何らかの方法で音声も送信する必要があります。

• Character Animator では NDI を使用して音声を送信できません（バージョン 1.1 現在）。ミキサーとコンピューターのオーディオインターフェイスを使用して、手動で音声を管理する必要があります。Mac 用の NDI Scan Converter では、オーディオインターフェイスの入力を NDI 出力として送信できます。Windows 版ではこの回避策を利用できません。

バックグラウンドアプリケーションの動作が遅い

macOS の節電機能である App Nap を有効にすると、アクティブでないアプリケーションを一時停止状態に移行して電力消費を抑えることができます。この機能は Mac ラップトップコンピューターのバッテリー使用量を抑えるのに役立ち、コンピューター全体の電力使用量にも影響を与えます。

• ブロードキャスト中にバックグラウンドで何らかのアプリケーションを実行する場合は、それらのアプリケーションの動作が遅くならないように App Nap を無効にすることが重要です。

システム上のすべてのアプリケーションに対して App Nap を無効にするには、次のコマンドをターミナルウィンドウに貼り付けて Enter キーを押します。

defaults write NSGlobalDomain NSAppSleepDisabled -bool YES

パペットの操作

パペットに動きを付けるのが上手な演技者はキャラクターに命を吹き込むことができますが、それにはまず、適切に作成されたパペットとそれを操作するための手段が必要になります。

Web カメラ（オプション）

• パペットに動きを付ける演技者が Character Animator コンピューターの前にいない場合は、小型のビデオモニターが非常に役立ちます。
• Web カメラを適切に機能させるには、演技者の顔に適切な量の照明を当てる必要があります。LED 照明でも問題ありません。
  
• 演技者が正面を向いていないと最適な結果は得られません。そのため、台本を読みながら演技をしたり、飲み物を飲みながら演技をしたりすると、キャラクターが予期しない反応をする場合があります。
• ヘッドターナービヘイビアーを使用するとキャラクターの頭の動きをきめ細かく制御できますが、コンピューターの画面から目を離さなければならなくなります。声優のみに専念する場合はこれでも問題ありませんが、アニメーションやアートワークのトリガーも同時に操作する必要がある場合は、キーボードトリガーを使用することをお勧めします。

トリガー

• ライブの場合、キャラクターのジェスチャーが豊富になると、アニメーションの面白さが高まります。ジェスチャーの種類には次のようなものがあります。
  ▪ 顔の表情
  ▪ 腕と手のジェスチャー
  ▪ 考えている（上を見上げている）ジェスチャー
  ▪ 止まっているときのジェスチャーやそわそわしているときのジェスチャー（指をとんとん叩くジェスチャーや体を小刻みに動かすジェスチャーなど、体が止まっている間の時間を埋める動作）
• 現在は、キーボードと MIDI デバイスをトリガーの操作に使用できます。キーボードにステッカーを貼っても構いませんが、次のデバイスを使うとさらに便利な場合があります。
  ▪ Elgato Stream Deck（小さい LCD ボタン）
  ▪ X‐Keys（高度なプログラミングが可能で、高度なマクロもサポートされています）