| ３−２−５ 画像処理の応用(2) |
|
| 【技術分類】 |
| ３−２ 特殊編集技術 |
| ３−２−５ 画像処理の応用 |
|
| 【技術の名称】 |
| ３−２−５−Ｇ 多層合成処理 |
|
| 【技術内容】 |
| 多層合成処理として、時空間編集を取り上げる。三次元空間と時間を組み合わせた時空間上の編集処理で、効率的で自由度の高い映像製作が可能である。 |
| （１）特徴 |
| 時空間編集の概念を図１に示す。映像プレーンとαプレーンで構成される映像部品＃１〜＃nを奥行き（ｚ軸）方向に多層に並べ、αプレーンにより合成出力する。αプレーンは合成のときのマスクで、αは赤Ｒ、緑Ｇ、青Ｂ以外のもう一つの画素要素を意味する。奥行き方向の順番とαプレーンにより、優先順位付きの合成（書き割り合成）を行い、映像の切り換えを行う。映像のx、y軸方向の配置位置調整により、映像中の物体の見え隠れを制御でき、また時間軸ｔ方向の調整により、編集の時間タイミングを制御できる。 |
| （２）機能説明 |
| 多層合成装置のハードウェア構成を図２に示す。４層の映像部品ユニット１〜４と書き割り合成装置を中心に構成される。ユニット１〜４に別々の映像信号を入力することにより、書き割り合成装置で４層合成ができ、合成映像が出力される。 |
| 映像部品ユニットは、それぞれ要素R、G、B、αという４プレーンのフレームメモリと、トリプルバッファで構成される。アナログ映像信号の入力用にA/D変換装置を備えている。各フレームメモリは独立にスクロールでき、任意の位置から映像をリアルタイムで書き割り合成装置に出力することができる。αプレーンも、単独でスクロールしたり、外部からのキー動画だけを入力可能で、種々のシーンチェンジに対応できる。 |
| 他に、画素単位で奥行き順位を決定できる奥行き順位決定用フレームメモリ、アイコンなどのメニュー表示用のサブフレームメモリを備えている。 |
|
| 【図】 |
| 図１ 時空間編集システムの概念 |
|
| 出典： 「３．ＣＧ・編集システム ３−１ 映像部品を用いた時空間編集システム」、「映像情報メディア学会誌(テレビジョン学会誌) Vol.48 No.３」、(1994年３月)、井上誠喜著、社団法人映像情報メディア学会発行、259頁 図２ 時空間編集システムの概念 |
|
| 図２ 多層合成装置のハードウェア構成 |
|
| 出典： 「３．ＣＧ・編集システム ３−１ 映像部品を用いた時空間編集システム」、「映像情報メディア学会誌(テレビジョン学会誌) Vol.48 No.３」、(1994年３月)、井上誠喜著、社団法人映像情報メディア学会発行、259頁 図３ 合成装置のハードウェア構成 |
|
| 【応用分野】 |
| オフライン編集、オンライン編集 |
|
| 【出典／参考資料】 |
| 「３．ＣＧ・編集システム ３−１ 映像部品を用いた時空間編集システム」、「映像情報メディア学会誌(テレビジョン学会誌) Vol.48 No.３」、(1994年３月)、井上誠喜著、社団法人映像情報メディア学会発行、258頁〜262頁 |
|
|
| 【技術分類】 |
| ３−２ 特殊編集技術 |
| ３−２−５ 画像処理の応用 |
|
| 【技術の名称】 |
| ３−２−５−Ｈ 動きのある映像とタイトルとの合成 |
|
| 【技術内容】 |
| 動ベクトルを用いた映像抽出合成法の応用例として、動きのある映像とタイトルの合成方法を紹介する。 |
| （１）特徴 |
| 例として、図１に、ニュース番組などでよく見られるキャスタとタイトルを配したシーンを示す。この場合、キャスタを撮った映像の上にタイトルを重ねると、キャスタが動いたときにキャスタがタイトルの後方に隠れてしまう。このシーンの映像としては、キャスタと背景の中間にタイトルが存在するかのように見えるのが自然である。これを実現する。 |
| （２）機能説明 |
| 図２に、タイトルをキャスタと背景の間にあるように見せる合成システムを示す。キャスタ用のキーとタイトル用のキーを組み合わせて合成する。キャスタ用のキーは、キャスタ撮影画像から動ベクトルを検出し、移動、変形して作る。 |
| キャスタ用キーを反転し、タイトル用キーとのＡＮＤを取る。これにより、タイトルがキャスタの後方に置くための原マスクが得られる。原マスクを反転してキャスタ撮像画像から所要タイトル部分を切り抜く。一方、原マスクでタイトル画像からタイトルの所要部分を抽出し、タイトル部分を切り抜いたキャスタ撮像画像に嵌めこむ。 |
|
| 【図】 |
| 図１ キャスタとタイトルを配したシーン |
|
| 出典：「映像合成のための動ベクトル検出法に関する一検討」、「映像情報メディア学会誌(テレビジョン学会誌) Vol.45 No.10」、(1991年10月)、八木伸行、田中勝行、榎並和雅著、社団法人映像情報メディア学会発行、1228頁 図８ ニュース等でよく見られるシーン |
|
| 図２ タイトルをキャスタと背景の間にあるように見せる合成システム |
|
| 出典：「映像合成のための動ベクトル検出法に関する一検討」、「映像情報メディア学会誌(テレビジョン学会誌) Vol.45 No.10」、(1991年10月)、八木伸行、田中勝行、榎並和雅著、社団法人映像情報メディア学会発行、1228頁 図９ タイトルをキャスタと背景の間にあるように見せるキー合成 |
|
| 【応用分野】 |
| オフライン編集 |
|
| 【出典／参考資料】 |
| 「映像合成のための動ベクトル検出法に関する一検討」、「映像情報メディア学会誌(テレビジョン学会誌) Vol.45 No.10」、(1991年10月)、八木伸行、田中勝行、榎並和雅著、社団法人映像情報メディア学会発行、1221頁〜1229頁 |
|
|
| 【技術分類】 |
| ３−２ 特殊編集技術 |
| ３−２−５ 画像処理の応用 |
|
| 【技術の名称】 |
| ３−２−５−Ｉ フェードアウト |
|
| 【技術内容】 |
| ＴＶプログラムの間にＣＭクリップをスプライスするときは、直前のビデオの黒画面に徐々に退色するのが望ましい。この操作をフェードアウトと称する。 |
| （１）特徴 |
| ディジタルＴＶプログラムは通常ＭＰＥＧ−２（Moving
Picture Experts Group-２）のような圧縮された形で格納、伝送される。これを伸長し、フェードアウト操作を加え、再圧縮すると、ＤＣＴ（Discrete
Cosine Transform）演算と動き推定演算に膨大な時間がかかる。そこで圧縮データのままで処理し、ビデオストリームのリアルタイム処理を可能にする。 |
| （２）機能説明 |
| ＤＣＴドメインで、両次元方向の周波数がゼロのＤＣ係数のみの操作で近似し、ＤＣ係数が下限に近付いたときはAC係数をすべてカットする。ブロックは均一な黒ブロックにレンダリングされるが、フレームは既に黒に近付いているので、不快感は与えない。 |
| フェードアウトには加算形の処理を用いる。フレームtからn番目のフレームt＋nの各画素の強度をフェードステップn×sだけ低減する。これはＤＣＴのＤＣ係数の値を８×フェードステップだけ減らすことに相当する。一方ＭＰＥＧはＩ、Ｐ、Ｂピクチャという差分によるコード化を行っている。また動きの前方推定や後方推定によりマクロブロックのコード化も異なる。これらの組み合わせにより、９種類のフェードステップサイズを用意する。 |
| さらに、ＭＰＥＧビデオストリームから検索されるＤＣ係数は量子化されている。このＤＣ係数に直接演算できるように、フェードステップを量子化し、逆ＤＣＴ演算を不要にする。ただし、フレーム間のマクロブロックにそのまま適用すると、表示したときに均一にフェードアウトしない可能性がある。そこで量子化に対する誤差追跡補正機能を導入する。 |
| 以上の操作を行うと、圧縮データ（ＤＣ係数）だけでなく、ストリーム・シンタックスも変わる。図１にその様子をフローチャートで示す。 |
|
| 【図】 |
| 図１ フェードアウト操作によるシンタックス変化 |
|
| 出典：「Fast fade-out operation on MPEG
Video」、「IEEE Image Processing 98 Proceedings
Vol.１」、(1998年１月)、Bo Shen著、IEEE発行、855頁 Figure３ Syntax
changes for fade-out operation |
| Copyright (c) 1998 IEEE |
|
| 【応用分野】 |
| オフライン編集、オンライン編集 |
|
| 【出典／参考資料】 |
| 「Fast fade-out operation on MPEG Video」、「IEEE
Image Processing 98 Proceedings Vol.１」、(1998年１月)、Bo
Shen著、IEEE発行、852頁〜856頁 |
|
|
| 【技術分類】 |
| ３−２ 特殊編集技術 |
| ３−２−５ 画像処理の応用 |
|
| 【技術の名称】 |
| ３−２−５−Ｊ ワイプ・トランジッション |
|
| 【技術内容】 |
| ワイプ・トランジッションは連続的なショット・トランジッションの一種である。視覚的には、ひとつのシーンが徐々に画面から去り、別のシーンが現れる。 |
| （１）特徴 |
| スクリーンの中で曲線や多角形などの線の移動によって、ひとつのシーンから別のシーンへ遷移させる。図１にその例を示す。（ａ）は、画面の一角から折れ線が対角線上を移動して、そののちに別のシーンが現れる。（ｂ）は、横の一辺と平行な直線が左から右へ移動して、そののちに別のシーンが現れる。（ｃ）は、画面の中心から多角形が現れ、内部に別のシーンが現れ、それが画面全体に広がっていく。（ｄ）は、画面より大きなひとつの閉曲線が周囲から現れ、縮んでいき、中心で消える。この閉曲線の外側に別のシーンが現れる。 |
| （２）機能説明 |
| 製作の観点から、ワイプ・トランジッションは、原画像の一部を別の画像の一部で置き換える画像合成処理の応用である。 |
| 図２に実現方法を図解する。まず低分解能の画像でワイプ領域を指定し、フレームの差分処理を行う。（ａ）はワイプを行う最初の２つのフレームを示す。ＲＷはワイプ領域で、ここに別のシーンが現れる。（ｂ）は両フレームの差分で、黒は値ゼロを表す。これを画像合成のためのマスクに用いる。効果を高めるため、既存の画像と入力画像の境界は（ｃ）のように細線化する。次いで高解像度のフレームを用いて、このエッジ画像を再生し、動ベクトルを用いて、境界を移動させた画像を合成していく。 |
|
| 【図】 |
| 図１ ワイプ・トランジッションの典型例 |
|
| 出典：「A Multi-resolution video Segmentation
Scheme for Wipe Transition Identification」、「Acoustics,
Speech and Signal Processing, 1998. Proceedings
of the 1998 IEEE International Conference
on Vol.５」、(1998年５月)、H. Yu、W. Wolf著、IEEE発行、2965頁 FIGURE１ Wipe
transition illustration |
| Copyright (c) 1998 IEEE |
|
| 図２ ワイプ・トランジッションの実現方法 |
|
| 出典：「A Multi-resolution video Segmentation
Scheme for Wipe Transition Identification」、「Acoustics,
Speech and Signal Processing, 1998. Proceedings
of the 1998 IEEE International Conference
on Vol.５」、(1998年５月)、H. Yu、W. Wolf著、IEEE発行、2966頁 FIGURE２ An
illustration of wipe characterization |
| Copyright (c) 1998 IEEE |
|
| 【応用分野】 |
| オフライン編集 |
|
| 【出典／参考資料】 |
| 「A Multi-resolution video Segmentation
Scheme for Wipe Transition Identification」、「Acoustics,
Speech and Signal Processing, 1998. Proceedings
of the 1998 IEEE International Conference
on Vol.５」、(1998年５月)、H. Yu、W. Wolf著、IEEE発行、2965頁〜2968頁 |
|
|
| 【技術分類】 |
| ３−２ 特殊編集技術 |
| ３−２−５ 画像処理の応用 |
|
| 【技術の名称】 |
| ３−２−５−Ｋ ＣＧ技術による映像の加工 |
|
| 【技術内容】 |
| ＣＧ（Computer Graphics）と画像処理技術を組み合わせることにより、新しい映像表現を可能にする技術である。 |
| （１）特徴 |
| 例えば図１のような加工が可能になる。１枚の顔画像から、顔の三次元形状を推定し、その表情や顔の向きを変更して、動画像を作成できる。 |
| （２）機能説明 |
| 図１にはＣＧ技術による映像加工のいろいろな要素が含まれているので、これを例にとって機能を説明する。 |
| まず原画像の中で加工したい対象物の特徴点を手動で指定する。顔画像では、目や口の両端など、顔の中でもその位置を特定しやすい41ヶ所の特徴点としている。 |
| 次に対象物の三次元形状を推定する。あらかじめ仮定した標準的な顔の三次元形状と、その特徴点の三次元座標とを照合し、顔画像の人物の顔の三次元形状を推定する。 |
| これをもとに対象物の三次元画像を作る。ベジェ・パッチを使って顔の曲面を作り、その上に原顔画像をテクスチャマッピングして作る。 |
| 最後に、推定した三次元形状を変形することで、対象物の三次元画像を変更する。すなわち、表情や顔の向きの変更を行う。50音を発音したときの口の動きや、笑い、驚き、悲しみといった表情の典型的な動きはパラメータ化しておく。これにより、スクリプトに基づいた変更ができる。 |
|
| 【図】 |
| 図１ ＣＧ技術を用いた顔の表情変更 |
|
| 出典：「特集 画像処理 ３．画像処理の新しい活用 ３−１放送における画像処理」、「映像情報メディア学会誌(テレビジョン学会誌) Vol.46 No.11」、(1992年11月)、八木伸行著、社団法人映像情報メディア学会発行、1440頁 写真３ ＣＧ技術を用いた顔の表情変更 |
|
| 【応用分野】 |
| オフライン編集 |
|
| 【出典／参考資料】 |
| 「特集 画像処理 ３．画像処理の新しい活用 ３−１放送における画像処理」、「映像情報メディア学会誌(テレビジョン学会誌) Vol.46 No.11」、(1992年11月)、八木伸行著、社団法人映像情報メディア学会発行、1439頁〜1442頁 |
|
|
| 【技術分類】 |
| ３−２ 特殊編集技術 |
| ３−２−５ 画像処理の応用 |
|
| 【技術の名称】 |
| ３−２−５−Ｌ 画像の加工 ワープ |
|
| 【技術内容】 |
| ワープとはディジタル画像の幾何学的変換に関する処理である。入力画像と出力画像の間の空間変換にワープ関数を用いる。簡単な変換のワープ関数は、アフィン、投影、双一次、多項式変換などの解析的表現で定義できる。ここでは顔画像のような、解析的には表現が不便なより複雑な場合を取り上げる。 |
| （１）特徴 |
| 高度なワープ関数は特徴点のスパース集合を用いて決める。特異点の変位によって変換を定義し、残りの点の変位は内挿で判定する。ＭＢＡ（Multilevel
B-spline Approximation）アルゴリズムを用いて制御格子を生成し、形状の平滑度と正確さの最適化を行う。 |
| （２）機能説明 |
| ワープ関数は入力画像の点(x, y)を出力画像の対応点(x’,
y’)に関係づける。マッピングを関数x’=X(x,
y)およびy’=Y(x, y)で定義する。入力画像の特徴点(xc,
yc)および出力画像のそれらの変位点(x’c, y’c)を考える。 |
| 特徴点変位からワープ関数を決めるにはＭＢＡアルゴリズムを用いる。関数X、Yを表す座標軸をzとし、三次元座標(x,
y, z)上で関数X、Yに対する２つの平滑表面を構築して決定する。Xの表面は点(xc,
yc, x’c)を通り、Yの表面は点(xc, yc, y’c)を通るようにする。 |
| ワープの例を図１に示す。（ａ）は原画像である。（ｂ）はユーザが特定した特徴で、顔の特徴的な部分に置かれた点の集合で構成される。これらの特徴点を新しい位置に動かし、原画像のワープを行う。（ｃ）は新しい位置とＭＢＡアルゴリズムで導いたワープ関数による変形を制御格子上で示す。ワープ関数を用いて、原画像を再サンプリングし、（ｄ）のワープ画像を生成する。原画像のディメンションは360×243、特徴点の数は242である。 |
|
| 【図】 |
| 図１ ＭＢＡアルゴリズムを用いた顔画像の平滑なワープ |
|
| 出典：「Scattered Data Interpolation with
Multilevel B-splines」、「IEEE Transactions
on Visualization and Computer Graphics Vol.３ No.３」、(1997年７月)、Seungyong
Lee、George Wolberg、Sung Yong Shin著、IEEE発行、238頁 Fig.８ The
MBA algorithm is applied to scattered feature
constraints to produce a smooth warp function
image warping |
| Copyright (c) 1997 IEEE |
|
| 【応用分野】 |
| オフライン編集 |
|
| 【出典／参考資料】 |
| 「Scattered data interpolation with multilevel
B-splines」、「IEEE Transactions on Visualization
and Computer Graphics Vol.３ No.３」、(1997年７月)、Seungyong
Lee、George Wolberg、Sung Yong Shin著、IEEE発行、228頁〜244頁 |
|
