◆新しい「VR型テレビ」の技術を教育フェア2003で体感 〜現実とテレビの中の世界を共有する〜 （平成15年10月29日） ○ ＮＨＫ放送技術研究所は、将来のさまざまなテレビの楽しみ方を想定した基礎的な研究・開発を進めています。11月に開かれる教育フェア2003では、「VR(バーチャル・リアリティー)型テレビ」の技術を応用した展示を行います。 ○ 従来のテレビは、放送で送られてきた映像と音響を家庭でそのまま見て聞くという受動的なものでした。「VR型テレビ」は、放送番組のキャラクターを自由に動かしたり、テレビの中の空間を動き回って見たり聞いたりすることが楽しめる、全く新しい発想の能動的なテレビです。「VR型テレビ」を実現するために、映像と音響の両面から研究を進めています。 ○ 映像系では、合成画面の中で、動く被写体の立体形状モデル（通称Vapetto[バペット]）を自由に動かして見られる技術を開発しました。バペットは、見る位置を変えた複数のカメラ映像から生成するので、上下左右あらゆる角度から見たリアルな映像が実現できます。 ○ 音響系では、あたかも自分が画面の中にいるかのように、見る位置やCGキャラクターなどの動きに連動して、音の方向感や距離感、および残響感などをリアルタイムに制御可能な装置（通称 ＶＲＡＳ［ブラス］）を試作開発しました。 ○ これらの技術は、11月1日（土）から9日（日）までＮＨＫ放送センター（東京・渋谷）で開催される教育フェア2003で展示します。今後も、ＮＨＫは、教育フェアなど視聴者のみなさまが直接、触れたり体感できる展示会を通じて、最先端の研究開発の成果を紹介していく予定です。 映像系　バペットVapetto （Virtual Pupetto） ○ ユーザーが合成映像の中で、被写体の立体形状モデル（バペット）を自由に動かすことができるバペット・プレイを、バーチャルリアリティ用ツール※1を利用して開発しました。ユーザーは図1にあるように、白い特殊なカードを使ってバペットを回したり、動かしたりしながら遊ぶことができます。 ○ バペットは、図2のように、視点位置を変えた複数のカメラ映像から生成する、動く被写体の立体形状モデルです。立体形状モデルでできているので、バペットの向きや位置を変更しながらリアルタイムで動画再生が行えます。バペットは、実際にカメラで撮影した人などの動く被写体映像から生成するので、リアリティの高い映像表現ができます。 図1　バペット・プレイ 図2 バペット生成のためのカメラ配置（例） 　 ・ 被写体の回りを取り囲むように配置したカメラの映像から、被写体の立体的な形状モデルを生成します。 ・ 形状モデルを生成すると、あらゆる角度・位置から見た映像を作り出せます。 ・ バペットはCGではなく、キャラクターの着ぐるみを着た人など、撮影した映像から生成しています。 ・ 手に持っている白いカードの上にバペットを映像合成します。 ・ 白いカードを回すなどして動かすと、それに合わせてバペットも動きます。 ※1ARToolKit。米国のワシントン大学が開発したバーチャルリアリティ用ツール。 音響系　ブラスVＲＡＳ （Virtual Reality Audio System） ○ ブラスは、3次元ＣＧキャラクターの動きや視点位置（見る位置）に連動して、その場にいるようなリアルな音響を生成する装置です。部屋の大きさや音の響き具合などの空間の情報、音を発する音源の位置や動きの情報、自分の位置や顔の向いている方向の情報をもとに、音の方向感や距離感、および残響感などをリアルタイムで更新して没入感の高い音空間を再現できます。 ○ これまでは、専用の音声信号処理装置やミキサーなど複数の装置が必要でした。今回、音のレベルと方向定位の制御、残響付加およびミキシングの音響信号処理をDSP※2により一体化することで、装置全体の小型化を実現でき、処理の高速化と音質の向上を図ることが可能になりました。また、簡単なコンテンツに関してはＰＣ1台で再生できるように、すべての処理をソフトウェアで行なうプログラムも同時に開発しました。 ○ ＣＧ等のバーチャルリアリティ映像と組み合わせることで、映像と音響の一体感のあるコンテンツを生成することが可能です。 ・ 見る人を取り囲むように配置した複数のスピーカを用いて、あたかもその場にいるように音の方向と距離を再現します。 ・ キーを操作して視点位置を変えると、映像も音も新たな位置に対応して移動します。 ・ 今回の教育フェアでは、姿の見えないキャラクタを、声の方向をたよりに探し出すというゲームとして展示しています。 ※2DSP(Digital Signal Processor) ：高速な演算処理が可能なプログラマブルLSI。