NHK INFORMATION
技術情報

  ◆リップシンク[*1]自動補正システム(TuLIPS[*2])を開発
〜唇の動きと発話音声から,映/音のズレを自動的に補正する 〜
(平成12年11
月27日)

○ NHKはアサカ(株)と共同で,唇の動きと発話音声をもとに,映像と音声のズレを簡単な操作で補正できる「リップシンク自動補正システム(TuLIPS*)」を開発しました。今までのように,映像や音声の中に規定信号を重畳したり,人間がカットアンドトライで調整することをしなくても,本線系の「映像」と「音声」信号そのものから,それらのズレを自動的に計測して補正することが可能です。本体(1U筐体:音声ディレー機能も含む)にタッチパネルディスプレイを接続して使用します。

○ 急速に進展するデジタル化のなかで,映像と音声を別々に処理することが多くなり,映像と音声の間に時間的なズレが発生し,制作に影響を与えることが多くなってきています。

○ これまで,映像と音声のズレを補正するため,幾つかの手法が提案されてきました。映像や音声の本線系に規定信号を重畳する方式など,結果的に音質に影響を与えてしまいます。また,送信側と受信側にそれぞれ装置を必要とし,システムが煩雑になるなど多くの問題点をかかえていました。

○ 今回新たに,映像中の唇の動きと,その時の発話音声から映像と音声のズレを検出するアルゴリズムを開発したことにより,映像や音声の中に規定信号を必要とせず,高精度にそのズレを計測し,補正することができるようになりました。コンパクトな仕様(「音声ディレー機能も含め1U筐体」と「タッチパネルディスプレイ」)で,容易に計測,補正できるので中継車やロケ現場でも利用することができます。

○ NHKではデジタル時代に向け,今後も効果・効率的な業務の推進に対応できる新規システムの開発を積極的に進めていきます。

[*1] リップシンク
 映像と音声の間の時間的なズレ。 このズレが大きいと違和感が生じる。
[*2] TuLIPS(チューリップ)
 Technology of Useful LIP Synchronization

<参考>
 別紙1  別紙2











技術情報一覧
Copyright NHK (Japan Broadcasting Corporation) All rights reserved. 許可なく転載を禁じます