Search

本報告では,ショット内及びショット間の特徴に基づく被写体と話者の異同判定によるニュース映像からのスピーチショット抽出手法を提案する.スピーチショットはマルチメディア情報を豊富に含み,資料的価値が高い.そこで我々はこれまで,被写体の口唇動作と話者の声から得られる複数の音声特徴と画像特徴の相関に基づく被写体と話者の異同判定手法を提案してきた.この手法は,音声ノイズの少ないショットに対しては高精度な異同判定が可能であるが,多量の音声ノイズを含むショットに対しての異同判定は困難であった.そこで本報告では,2段階の処理による被写体と話者の異同判定手法を提案する.まず第1段階で,これまでに提案した手法により異同判定を行う.その後,第2段階で,ショット内及びその前後のショットとの間に表れる特徴的な画像・音声の性質に基づいて異同判定を行う.スピーチショット抽出実験の結果,提案手法の有効性を確認した., We propose a method to extract speech shots from news videos using detecting the inconsisteny between a subject and the speaker focusing on features within and between shots. Speech shots in news videos contain a wealth of multimedia information, and are valuable as archived material. To extract speech shots, we have previously proposed a method to detect the inconsistency between a subject and the speaker based on the co-occurrence between a subject's lip motion and the speaker's voice. This previous method could detect the inconsistency in a shot with little audio noises. However, it is difficult to detect the inconsistency in a shot with significant amount of audio noises. In order to deal with this problem, the proposed method detects the inconsisteny between a subject and the speaker in two steps. The first step detects the inconsistency by our previous method, and the second step detects the inconsistency based on the intra- and inter- shot features. Experimental results showed the effectiveness of the proposed method., IEICE Technical Report;IE2011-147,IEICE Technical Report;MVE2011-109

ニュース映像中の人物の発言シーンはマルチメディア情報を豊富に含み,資料価値が高い.発言シーンの抽出には顔領域の位置や大きさを利用するアプローチが考えられる.しかし,ナレーションシーンのように被写体と話者が一致していないシーンも存在するため,それだけでは発言シーンを必ずしも抽出できない.そこで我々は,発生する音とそれに伴う口唇動作から得られる複数の音声特徴と画像特徴の相関を利用して被写体と話者の一致・不一致を識別する手法を提案してきた.しかしながら,理想的な環境で撮影した映像に対する評価のみで,実際に放送されるニュース映像に対する評価にとどまっていた.本稿では,理想的な環境で撮影した映像を用いた実験とその結果,および実際に放送されたニュース映像を用いた実験とその結果について報告する.これら2つの実験から,提案手法の有効性および有用性を確認した., Speech scenes in news videos contain a wealth of multimedia information, and are valuable as archived material. In order to extract speech scenes from news videos, there is an approach that uses the position and size of a face region. However, it is difficult to extract them with only the approach, since news videos contain scenes where the speakers are not the subjects such as in narration scenes. To solve this problem, we have been proposing a method to detect the inconsistency between face and speaker focusing on the co-occurrence of the lip motion and the speech. However, the evaluations for the proposed method were performed in an ideal condition without much noise. In this paper, we report the investigation on the performance of the proposed method not only with videos captured in ideal conditions but also with actual broadcasted news videos. Their results showed the effectiveness and the usefulness of our method., IEICE Technical Report;MVE2011-12